CN101682691B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN101682691B
CN101682691B CN2009800002076A CN200980000207A CN101682691B CN 101682691 B CN101682691 B CN 101682691B CN 2009800002076 A CN2009800002076 A CN 2009800002076A CN 200980000207 A CN200980000207 A CN 200980000207A CN 101682691 B CN101682691 B CN 101682691B
Authority
CN
China
Prior art keywords
signal
image
shooting
during
pickup part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009800002076A
Other languages
English (en)
Other versions
CN101682691A (zh
Inventor
坂口巧
远间正真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101682691A publication Critical patent/CN101682691A/zh
Application granted granted Critical
Publication of CN101682691B publication Critical patent/CN101682691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明所涉及的图像处理装置(200)包括：拍摄期间取得部(205)，取得拍摄期间；摄像部(202)，具有高速读出模式和一般读出模式，该高速读出模式输出作为由第一像素数的像素转换的电信号的低分辨率图像信号，该一般读出模式输出作为由比第一像素数多的第二像素数的像素转换的电信号的高分辨率图像信号；控制部(210)，在拍摄期间中，使摄像部(202)以高速读出模式工作，在拍摄期间之外，使摄像部(202)以一般读出模式工作；以及超解像部(203)，通过利用在拍摄期间之外由摄像部(202)输出的高分辨率图像信号，对在拍摄期间中由摄像部(202)输出的低分辨率图像信号进行高分辨率化，从而生成超解像图像信号。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法，尤其涉及对利用摄像装置摄像的低分辨率的图像数据进行高分辨率化的图像处理装置。 
背景技术
近几年，在数字静态照相机及数字摄像机等摄影设备中，为了拍摄高清晰的静止图像而使用多像素的摄像元件的情况正逐渐增多。然而，在使用这些摄像元件进行连拍及运动图像拍摄等高帧频的图像拍摄时，按每一单位时间从摄像元件读出的数据量会增大。具体而言，按每一单位时间从摄像元件读出的数据量为，一帧的像素数乘以帧频。因此，在按每一单位时间的读出数据量具有限制的摄像元件中，难以既读出全部像素的数据又以高帧频进行拍摄。 
对此，专利文献1中表述了通过对从摄像元件读出的像素数进行间拔，从而抑制按每一单位时间读出的数据量，并达到高帧频的技术的一个例子。在此，帧是指在某一时刻的一张静止图像。 
进而，通过专利文献2表述了从被间拔后的低分辨率的多张帧生成高分辨率的帧的超解像技术的一个例子。 
关于根据这些组合而构成的图像处理装置100的构成及图像处理方法，进行以下说明。 
图1是表示图像处理装置100的构成的框图。图1所示的图像处理装置100包括：读出方式切换部101，将拍摄模式信号120作为输入、并输出读出方式指示信号121；摄像部102，将读出方式指示信号121作为输入、并输出摄像图像信号122；超解像部103，将摄像图像 信号122作为输入、并将输出图像信号129输出。 
读出方式切换部101在由拍摄模式信号120表示的当前的拍摄模式为高速地读出图像的模式(以下的高速读出模式)的情况下，对摄像部102输出指示间拔像素读出的读出方式指示信号121。而且，在此之外的情况下(以下的一般读出模式)，对摄像部102输出指示全部像素读出的读出方式指示信号121。 
在此，所谓高速读出模式是，例如以每秒8张等进行拍摄的高速连拍模式，或者例如以每秒120帧等进行拍摄的高帧频运动图像拍摄模式。所谓一般读出模式是，例如不进行连拍的一般拍摄模式，或者例如以每秒两张等进行拍摄的低速连拍模式，或者例如以每秒30帧等进行拍摄的一般运动图像拍摄模式。 
摄像部102包含将光学的像转换成电信号的、CCD(ChargeCoupled Device：电荷耦合器件)图像传感器或者CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等的摄像元件。此摄像部102在由读出方式指示信号121指示全部像素读出的情况下，将构成一帧的全部像素的信号作为摄像图像信号122输出。而且，摄像部102在由读出方式指示信号121指示间拔像素读出的情况下，将比构成一帧的全部像素少的被间拔后的像素的信号作为摄像图像信号122输出。 
超解像部103在由读出方式指示信号121指示全部像素读出的情况下，将摄像图像信号122照原样作为输出图像信号129输出。而且，超解像部103在由读出方式指示信号121指示间拔像素读出的情况下，利用被间拔像素读出的低解析度的摄像图像信号122的、在时间上为连续的多个帧，例如利用如专利文献2所记载的超解像处理来生成高分辨率的帧，并将生成了的高分辨率的帧作为输出图像信号129输出。 
以下利用图2，对有关超解像部103的内部构成及工作进行说明。图2是表示超解像部103的构成的框图。 
图2所示的超解像部103包括：帧存储器144，将摄像图像信号 122作为输入，并输出记忆摄像图像信号131；运动检测部143，将摄像图像信号122和记忆摄像图像信号131作为输入，并输出运动信息信号132；超解像执行部142，将摄像图像信号122和记忆摄像图像信号131作为输入，并输出超解像图像信号133；信号切换部141，将读出方式指示信号121和摄像图像信号122以及超解像图像信号133作为输入，并将输出图像信号129输出。 
帧存储器144暂时记忆摄像图像信号122所包含的被全部像素读出或者被间拔像素读出的帧，并将记忆的帧作为记忆摄像图像信号131输出。 
运动检测部143对摄像图像信号122的当前的帧和记忆摄像图像信号131的过去被记忆的帧之间的运动进行检测，并输出表示当前的帧内的一个以上的物体的运动量的运动信息信号132。 
超解像执行部142利用运动信息信号132，通过对被间拔像素读出的低分辨率的摄像图像信号122进行超解像处理，从而输出高分辨率的超解像图像信号133。 
信号切换部141在由读出方式指示信号121指示全部像素读出的情况下，将摄像图像信号122作为输出图像信号129输出。并且，信号切换部141在由读出方式指示信号121指示间拔像素读出的情况下，将超解像图像信号133作为输出图像信号129输出。 
其次，利用图3及图4对图像处理装置100的具体的工作例子进行说明。图3是表示一般读出模式时的图像处理装置100的工作的图。图4是表示高速读出模式时的图像处理装置100的工作的图。 
而且，实施拍摄信号124是在拍摄期间中的值为1，除此之外的值为0的信号。读出方式指示信号121是在全部像素读出的情况下的值为1，除此之外的值为0的信号。拍摄模式信号120是在高速读出模式时的值为1，在一般读出模式时的值为0的信号。 
首先，对在拍摄模式信号120的值为0的情况下、即一般读出模式的情况下的图像处理装置100的工作进行说明。如图3所示，在拍 摄模式信号120的值为0之时，读出方式切换部101输出值为0的读出方式指示信号121。因此，摄像部102进行全部像素读出，并花费时间Tf将一帧作为摄像图像信号122输出。在此，因为一个帧的传输时间为Tf，所以直到开始下一个帧的传输为止的间隔最少也需要Tf。 
其次，对在拍摄模式信号120的值为1的情况下、即高速读出模式的情况下的图像处理装置100的工作进行说明。如图4所示，在拍摄模式信号120的值为1之时，读出方式切换部101输出值为1的读出方式指示信号121。因此，摄像部102进行间拔读出，并花费时间Tp将一帧作为摄像图像信号122输出。在此，在高速读出模式中，因为进行间拔读出，所以与全部像素读出的图像相比画质劣化，但是，因为Tp＜Tf，所以与拍摄模式信号120的值为0的情况相比，能够拍摄高帧频的图像。 
其次，利用图5对图像处理装置100的工作进行说明。图5是图像处理装置100的图像处理方法的流程图。 
首先，读出方式切换部101判断当前的拍摄模式是否为高速读出模式(步骤S1)。在当前的拍摄模式为高速读出模式的情况下(S1的“是”)，读出方式切换部101对摄像部102指示间拔像素读出(步骤S5)，在为一般读出模式的情况下(S1的“否”)，读出方式切换部101对摄像部102指示全部像素读出(步骤S2)。 
在被指示为全部像素读出的情况下，摄像部102读出构成一帧的全部像素的信号，并作为摄像图像信号122输出(步骤S3)。其次，超解像部103将此被读出的摄像图像信号122照原样作为输出图像信号129输出(步骤S4)。 
另一方面，在步骤S5中被指示为间拔像素读出的情况下，摄像部102读出比构成一帧的全部像素少的被间拔后的像素信号(步骤S6)。其次，超解像部103利用被间拔像素读出的低分辨率的摄像图像信号122所包含的在时间上为连续的多个帧，例如利用如专利文献2的处理，来生成高分辨率的帧，并将生成的高分辨率的帧作为输出图像信 号129输出(步骤S7)。 
图6是表示以往的超解像处理的一个例子的图。如图6所示，例如，利用在时间上连续的三个帧的低分辨率图像，来生成一个帧的高分辨率图像。 
专利文献1：(日本)特开2005-109968号公报 
专利文献2：(日本)特开2000-244851号公报 
然而，在上述所说明的图像处理装置100中，因为高速读出模式中的摄像元件的图像传输速度有限，所以作为增加每一单位时间的传输帧数的交换，对每个帧的传输像素数进行间拔。因此，图像处理装置100具有分辨率降低等所谓画质降低的问题。 
图7是表示图像处理装置100的超解像处理的一个例子的图。因为在图像处理装置100中，将间拔后的图像通过超解像处理进行复原，所以具有例如如图7所示的、通过超解像处理，被间拔后的部分的像素值不能够正确复原的情况。 
发明内容
因此，本发明的目的在于提供一种能够抑制高速读出模式中的画质的降低的图像处理装置、图像处理方法、以及程序。 
为了达到上述目的，本发明所涉及的图像处理装置包括：拍摄期间取得部，取得拍摄期间；摄像部，包括将光转换成电信号的多个像素，并具有第一模式和第二模式，所述第一模式输出低分辨率图像信号，所述低分辨率图像信号是由所述多个像素之中的第一像素数的像素转换的电信号，所述第二模式输出高分辨率图像信号，所述高分辨率图像信号是由所述多个像素之中的、比所述第一像素数多的第二像素数的像素转换的电信号；控制部，在由所述拍摄期间取得部取得的拍摄期间中，使所述摄像部以所述第一模式工作，在所述拍摄期间之外，使所述摄像部以所述第二模式工作；以及超解像部，通过利用在所述拍摄期间之外由所述摄像部输出的所述高分辨率图像信号，对在 所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化，从而生成超解像图像信号。 
根据此构成，本发明所涉及的图像处理装置在拍摄期间中，拍摄低分辨率的图像，并通过对该低分辨率的图像进行超解像处理，从而生成高分辨率的图像。因此，本发明所涉及的图像处理装置能够在照样维持高帧频的情况下，拍摄高分辨率的图像。 
进而，本发明所涉及的图像处理装置在拍摄期间之外拍摄高分辨率的图像，并利用该高分辨率的图像进行超解像处理。因此，能够提高利用超解像处理而生成的高分辨率的图像的画质。而且，由于是在拍摄期间之外拍摄高分辨率的图像，所以拍摄期间中的帧频不会降低。这样，本发明所涉及的图像处理装置在高速读出模式中，能够照样维持高帧频并抑制画质的降低。 
并且，也可以是所述控制部在所述拍摄期间结束后，使所述摄像部以所述第二模式工作，所述超解像部利用在所述拍摄期间结束后由所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。 
根据此构成，本发明所涉及的图像处理装置在拍摄期间后拍摄高分辨率的图像，并利用该高分辨率的图像进行超解像处理。在此，在拍摄期间前拍摄高分辨率的图像的情况下，在拍摄期间前被拍摄的图像的帧频会降低。例如，若设想在显示器等上显示由摄像部拍摄的图像，并且用户边看着该图像边进行拍摄的情况等，为了使用户在更恰当的时机进行拍摄，在拍摄期间前被拍摄的图像最好是高帧频。本发明所涉及的图像处理装置通过在拍摄期间后拍摄高分辨率的图像，能够避免拍摄开始前的显示器显示中的图像的不自然的运动。因此，用户能够不错过按快门的时机从而顺利地进行拍摄。 
而且，也可以是所述控制部在所述拍摄期间开始之前，使所述摄像部以所述第二模式工作，所述超解像部利用在所述拍摄期间开始之前由所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中 由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。 
根据此构成，本发明所涉及的图像处理装置除了在拍摄期间后，在拍摄期间前也拍摄高分辨率的图像。因此，本发明所涉及的图像处理装置能够利用在时间上更接近的、即关联大的高分辨率的图像，来进行超解像处理。因而，本发明所涉及的图像处理装置通过超解像处理，能够生成更高画质的图像。 
并且，也可以是所述图像处理装置也可以还包括：显示器显示部，在显示器上显示所述低分辨率图像信号的图像、所述高分辨率图像信号的图像、或者所述超解像图像信号的图像，所述控制部在所述拍摄期间开始之前，所述显示器显示部在显示器上没有显示所述低分辨率图像信号的图像、所述高分辨率图像信号的图像、或者所述超解像图像信号的图像的情况下，使所述摄像部以所述第二模式工作，在所述拍摄期间开始之前，所述显示器显示部在显示器上显示所述高分辨率图像信号的图像、或者所述超解像图像信号的图像的情况下，使所述摄像部以所述第一模式工作。 
根据此构成，本发明所涉及的图像处理装置在显示器正在显示的情况下，即使在拍摄期间之前，也不使摄像部以第二模式工作。因此，由于在拍摄开始前的显示器显示中帧频不会降低，所以本发明所涉及的图像处理装置能够避免拍摄开始前的显示器显示中的图像的不自然的运动。因此，用户能够不错过按快门的时机从而顺利地进行拍摄。 
而且，也可以是所述拍摄期间取得部取得拍摄准备信号，所述拍摄准备信号表示快门按钮是否被半按下，所述控制部在由所述拍摄准备信号表示快门按钮被半按下的情况下，使所述摄像部以所述第二模式工作。 
根据此构成，本发明所涉及的图像处理装置能够在拍摄开始前的紧前面的定时，利用超解像处理来拍摄高分辨率的图像。因此，由于利用超解像处理的高分辨率的图像与在拍摄期间中被拍摄的低分辨率的图像之间的时间上的距离变短，所以利用超解像处理的高分辨率的 图像与在拍摄期间中被拍摄的低分辨率的图像之间的关联变大。因而，本发明所涉及的图像处理装置通过超解像处理，能够生成更高画质的图像。 
而且，也可以是所述控制部还在由所述低分辨率图像信号表示的图像的运动比预先规定的值小的情况下，在所述拍摄期间中，使所述摄像部以所述第二模式工作，所述超解像部还利用在所述拍摄期间中由所述摄像部输出的所述高分辨率图像信号，对在该拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。 
根据此构成，即使是在拍摄期间中，在被摄对象的运动小的情况下，也拍摄高分辨率的图像。在拍摄期间中拍摄了高分辨率的图像的情况下，则此期间的图像的帧频会降低，但是因为帧频降低的图像是无运动的图像，所以能够抑制所谓图像的运动不平稳之类的主观性的画质劣化。另一方面，通过在拍摄期间中拍摄高分辨率的图像，能够提高该图像的画质。进而，通过利用此高分辨率的图像，来用于超解像处理，从而能够提高其他的图像帧的画质。 
而且，也可以是所述控制部在由所述低分辨率图像信号表示的图像的、在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧之间的像素值的差分绝对值之和的值比预先规定的值小的情况下，判断为由所述低分辨率图像信号表示的图像的运动比预先规定的值小。 
并且，也可以是所述超解像部在由所述低分辨率图像信号表示的图像的、在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧之间进行运动补偿，并利用进行了该运动补偿的、在时间上位于当前的图像帧之前或之后的图像帧和当前的图像帧，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化，所述控制部在进行了所述运动补偿的、所述在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧之间的像素值的差分绝对值之和比预先规定的值小的情况下，或者表示所述运动补偿中的运动量的运 动矢量的大小比预先规定的值小的情况下，或者上述两种情况都存在的情况下，判断为由所述低分辨率图像信号表示的图像的运动比预先规定的值小。 
而且，也可以是所述超解像部为了对所述低分辨率图像信号的当前的图像帧进行高分辨率化，优先使用所述高分辨率图像信号的图像帧之中的、与该当前的图像帧在时间上最接近的图像帧。 
根据此构成，本发明所涉及的图像处理装置利用与当前的图像帧在时间上最接近的高分辨率的图像帧，即利用关联大的高分辨率的图像帧进行超解像处理。因此，本发明所涉及的图像处理装置通过超解像处理，能够生成更高画质的图像。 
而且，也可以是所述控制部还在所述拍摄期间中，定期使所述摄像部以所述第二模式工作，所述超解像部还利用在所述拍摄期间中由所述摄像部输出的所述高分辨率图像信号，对在该拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。 
根据此构成，本发明所涉及的图像处理装置能够利用在时间上更接近的、即利用关联大的高分辨率的图像帧，来进行超解像处理。因此，本发明所涉及的图像处理装置通过超解像处理，能够生成更高画质的图像。 
并且，也可以是所述控制部在所述拍摄期间刚结束后，使所述摄像部以所述第二模式工作，所述超解像部利用在所述拍摄期间刚结束后由所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。 
根据此构成，在拍摄期间后被拍摄的高分辨率的图像与在拍摄期间中被拍摄的低分辨率的图像之间的时间上的距离变短。因而，在拍摄期间后被拍摄的高分辨率的图像与在拍摄期间中被拍摄的低分辨率的图像之间的关联变大。因此，本发明所涉及的图像处理装置通过超解像处理，能够生成更高画质的图像。 
而且，也可以是所述摄像部在所述第一模式时，以第一帧频输出 所述低分辨率图像信号，在所述第二模式时，以比所述第一帧频慢的第二帧频输出所述高分辨率图像信号。 
再者，本发明不仅能够作为这样的图像处理装置来实现，还能够作为将以包含图像处理装置的特征性单元设为步骤的图像处理方法来实现，或作为使计算机执行这样的特征性步骤的程序来实现。并且，不言而喻，也能够使这样的程序通过CD-ROM等记录介质或互联网等传输介质来流通。 
进而，本发明能够作为实现这样的图像处理装置的一部分功能或者全部功能的半导体集成电路(LSI)来实现，还能够作为包括这样的图像处理装置的摄像机来实现。 
综上所述，本发明能够提供能够抑制高速读出模式中的画质的降低的图像处理装置、图像处理方法、及程序。 
附图说明
图1是以往的图像处理装置的框图。 
图2是以往的超解像部的框图。 
图3是表示在以往的图像处理装置中的一般读出模式时的工作的图。 
图4是表示在以往的图像处理装置中的高速读出模式时的工作的图。 
图5是表示以往的图像处理装置的处理的流程图。 
图6是表示以往的图像处理装置中的超解像处理的图。 
图7是表示以往的图像处理装置中的超解像处理的图。 
图8是本发明的实施例1所涉及的图像处理装置的框图。 
图9A是表示本发明的实施例1所涉及的像素的间拔的例子的图。 
图9B是表示本发明的实施例1所涉及的像素的间拔的例子的图。 
图9C是表示本发明的实施例1所涉及的像素的间拔的例子的图。 
图10A是表示本发明的实施例1所涉及的、间拔像素的像素值的 生成方向的图。 
图10B是表示本发明的实施例1所涉及的、间拔像素的像素值的生成方向的图。 
图11是表示本发明的实施例1所涉及的图像处理装置的工作的图。 
图12是本发明的实施例1所涉及的超解像部的框图。 
图13是表示本发明的实施例1所涉及的图像处理装置中的超解像处理的图。 
图14是表示本发明的实施例1所涉及的图像处理装置中的超解像处理的图。 
图15是表示本发明的实施例1所涉及的图像处理装置中的超解像处理的图。 
图16是表示本发明的实施例1所涉及的图像处理装置的处理的流程图。 
图17是本发明的实施例2所涉及的图像处理装置的框图。 
图18是表示本发明的实施例2所涉及的图像处理装置的处理的流程图。 
图19是本发明的实施例2所涉及的超解像部的框图。 
图20是表示本发明的实施例2所涉及的图像处理装置中的超解像处理的图。 
图21A是表示本发明的实施例3所涉及的记录介质的构成的图。 
图21B是表示本发明的实施例3所涉及的记录介质的构成的图。 
图21C是表示本发明的实施例3所涉及的计算机系统的构成的图。 
图22A是表示本发明的实施例4所涉及的数字照相机的外观的图。 
图22B是表示本发明的实施例4所涉及的数字照相机的外观的图。 
图22C是表示本发明的实施例4所涉及的数字照相机的外观的图。 
附图标记说明
100、200、300  图像处理装置 
101、201  读出方式切换部 
102、202  摄像部 
103、203、303  超解像部 
120、220  拍摄模式信号 
121、221  读出方式指示信号 
122、222  摄像图像信号 
124、224  实施拍摄信号 
129、229  输出图像信号 
131、231  记忆摄像图像信号 
132、232  运动信息信号 
133、233  超解像图像信号 
141、241  信号切换部 
142、242  超解像执行部 
143、243  运动检测部 
144、244、344  帧存储器 
204、304  判断部 
205  拍摄期间取得部 
206  拍摄模式取得部 
210  控制部 
223  拍摄准备信号 
225  全部像素读出指示信号 
226  运动判断信号 
227  拍摄结束信号 
307  显示器显示部 
327  显示器有效信号 
334  帧信息信号 
335  帧选择信号 
345  时间差分判断部 
450  软磁盘 
451  磁盘 
452  外壳 
453  磁道 
454  扇区 
460  计算机系统 
461  软磁盘驱动器 
500  数字照相机 
501  快门按钮 
502  镜头 
503  显示器屏幕 
504  取景器 
505  拍摄模式切换转盘 
506  连拍模式切换按钮 
507  显示器显示按钮 
具体实施方式
以下，参照附图来详细说明有关本发明所涉及的图像处理装置的实施例。 
(实施例1) 
本发明的实施例1所涉及的图像处理装置200在高速读出模式之时，在拍摄期间之外，拍摄高分辨率的图像，并利用该高分辨率的图像来对拍摄期间内所拍摄的低分辨率的图像进行超解像处理。因此，本发明的实施例1所涉及的图像处理装置200能够抑制高速读出模式 中的画质的降低。 
首先利用图8，对本发明的实施例1所涉及的图像处理装置200的构成进行说明。图8是表示本发明的实施例1所涉及的图像处理装置200的构成的图。 
图8所示的图像处理装置200例如是数字静态照相机所配备的系统LSI(large scale integration：大规模集成电路)。此图像处理装置200将拍摄模式信号220、拍摄准备信号223、实施拍摄信号224作为输入，并将输出图像信号229输出。而且，图像处理装置200包括：控制部210、摄像部202、超解像部203、拍摄期间取得部205、拍摄模式取得部206。 
拍摄模式信号220是根据用户的操作的信号，并且是表示通过用户的操作而指定了一般读出模式，还是指定了高速读出模式的信号。具体而言，在通过用户的操作指定了以每秒8张等进行拍摄的高速连拍模式、或者能够以每秒120帧等进行拍摄的高帧频运动图像拍摄模式的情况下，拍摄模式信号220表示高速读出模式。而且，在通过用户的操作指定了不进行连拍的一般拍摄模式、以每秒2张等进行拍摄的低速连拍模式、或者以每秒30帧等进行拍摄的一般的运动图像拍摄模式的情况下，拍摄模式信号220表示一般读出模式。 
实施拍摄信号224是根据用户的操作的信号，并且是表示拍摄期间的信号。例如，在用户按下快门按钮的期间，通过实施拍摄信号224成为激活的状态，来表示拍摄期间。 
拍摄准备信号223是根据用户的操作的信号，并且是表示拍摄准备期间的信号。在此所谓的拍摄准备期间是拍摄期间的紧前面的期间。具体而言，处于用户半按下快门按钮的状态的期间，通过拍摄准备信号223成为激活的状态，来表示拍摄准备期间。 
拍摄模式取得部206取得与用户的操作相对应的拍摄模式。具体而言，通过取得拍摄模式信号220来取得拍摄模式。并且，拍摄模式取得部206将取得的拍摄模式信号220输出到控制部210。 
拍摄期间取得部205取得与用户的操作相对应的拍摄期间。具体而言，通过取得拍摄准备信号223和实施拍摄信号224来取得拍摄期间。换言之，拍摄期间取得部205检测来自用户的拍摄开始指示及拍摄结束指示。并且，拍摄期间取得部205将取得的拍摄准备信号223和实施拍摄信号224输出到控制部210。进而，拍摄期间取得部205利用实施拍摄信号224，生成表示拍摄结束期间的拍摄结束信号227，并将生成的拍摄结束信号227输出到控制部210。在此，所谓拍摄结束期间是拍摄期间刚结束后的、具有规定的时间宽度的期间。 
而且，拍摄期间取得部205也可以在拍摄之前，预先取得由用户设定的拍摄期间。例如，在用户按下数字静态照相机的快门按钮之后，于规定的时间后开始拍摄、即在所谓的定时拍摄等情况下，拍摄期间取得部205根据该快门按钮被按下的时刻来取得被决定的拍摄准备信号223和实施拍摄信号224。而且，在此情况下，拍摄期间取得部205也可以取得表示实施拍摄信号224等的拍摄的开始时刻的信号，并利用该信号生成拍摄准备信号223。 
摄像部202将光学像转换成电信号，并将转换后的电信号作为摄像图像信号222输出。具体而言，摄像部202包括被配置成矩阵形状的、将光转换成电信号的进行光电转换的多个像素。此摄像部202具有全部像素读出模式和间拔像素读出模式。 
在全部像素读出模式时，摄像部202将与构成图像帧(以下仅记述为“帧”)的全部像素对应的电信号、即将通过多个像素之中的所有的像素进行光电转换后的电信号作为摄像图像信号222输出。而且，在间拔像素读出模式时，摄像部202将与比构成帧的全部像素少的被间拔后的像素对应的电信号、即将通过多个像素之中的一部分像素进行光电转换后的电信号作为摄像图像信号222输出。 
图9A-图9C是表示在间拔像素读出模式时被读出的像素的一个例子的图。而且，在图9A-图9C中，使用斜线表示的像素250是在间拔像素读出模式时被读出的像素，像素251是在间拔像素读出模式 时没有被读出的像素。如图9A-图9C所示，间拔的形状包括正方格子状(图9A)、斜格子状(图9B)、及线状(图9C)等。另外，也可以间拔成在此之外的任意的形状。并且，以帧为单位的间拔方法也可以不相同。 
图10A和图10B表示在间拔像素读出模式时，被读出的像素值的计算方法的图。如图10A和图10B所示，相当于读出像素位置252的像素值可以是该像素位置252的像素值数据本身(图10A)，也可以是通过对该像素位置252的周围的多个像素位置253的像素值数据进行电荷的混合等而加在一起的像素值数据(图10B)。 
再者，在全部像素读出模式时，摄像部202不需要将所具备的由所有的像素进行了光电转换的电信号输出。例如，在长宽比为4∶3的摄像元件中，存在输出剪下图像的上下后的长宽比为16∶9的区域的情况，或者存在通过电子变焦来剪切一部分区域的情况等。而且，也可以根据其他任意的理由，摄像部202输出在全部像素读出模式时被一部分像素转换了的电信号。进而，摄像部202也可以在全部像素读出模式时，读出比间拔读出模式时，间拔量少的被间拔后的像素。 
即，间拔像素读出模式是摄像部202输出由在摄像部202所具备的多个像素之中的、第一像素数的像素转换的电信号的模式。而且，全部像素读出模式是摄像部202输出由在摄像部202所具备的多个像素之中的、比第一像素数多的第二像素数的像素转换的电信号的模式。 
并且，摄像部202在全部像素读出模式时，以低帧频输出图像；在间拔像素读出模式时，以比在全部像素读出模式时高的帧频输出图像。 
超解像部203在摄像部202以全部像素读出模式工作的情况下，将摄像图像信号222照原样作为输出图像信号229输出。而且，超解像部203在摄像部202以间拔像素读出模式工作的情况下，通过对被间拔像素读出的低分辨率的摄像图像信号222进行超解像处理，从而对低分辨率的摄像图像信号222进行高分辨率化，并将进行了高分辨 率化的图像作为输出图像信号229输出。在此超解像处理中，超解像部203利用在全部像素读出模式时由摄像部202输出的高分辨率的摄像图像信号222，对在间拔像素读出模式时由摄像部202输出的低分辨率的摄像图像信号222进行高分辨率化。 
进而，超解像部203通过利用不同时刻的多个帧的摄像图像信号222进行运动检测，来判断在当前的帧中是否存在运动。具体而言，超解像部203判断当前的帧的运动是否为规定值以上，在当前的帧的运动为规定值以上的情况下，判断为当前的帧中存在运动，在当前的帧的运动为规定值以下的情况下，判断为当前的帧中无运动。再者，以下在运动为规定值以下的情况下(无运动的情况及运动少的情况)记述为“无运动”。并且，超解像部203将表示当前的帧中是否存在运动的运动判断信号226输出到控制部210。 
控制部210根据拍摄模式信号220、拍摄准备信号223、实施拍摄信号224、拍摄结束信号227、以及运动判断信号226，生成读出方式指示信号221，并将生成的读出方式指示信号221输出到摄像部202及超解像部203。 
具体而言，控制部210在一般读出模式时，使摄像部202以全部像素读出模式工作。并且，控制部210在高速读出模式时，且在拍摄期间中，使摄像部202以间拔像素读出模式工作。而且，控制部210在高速读出模式时，且在拍摄期间之外，使摄像部202以全部像素读出模式工作。并且，控制部210在高速读出模式时，且在拍摄期间中，在当前的帧中无运动的情况下，使摄像部202以全部像素读出模式工作。 
此控制部210包括判断部204和读出方式切换部201。 
判断部204在由实施拍摄信号224表示处于拍摄期间之外，且由拍摄准备信号223表示处于拍摄准备期间的情况下，输出表示全部像素读出的全部像素读出指示信号225。而且，判断部204在由实施拍摄信号224表示处于拍摄期间之外，且由拍摄结束信号227表示处于 拍摄结束期间的情况下，输出表示全部像素读出的全部像素读出指示信号225。进而，判断部204在由实施拍摄信号224表示处于拍摄期间中，且由运动判断信号226表示在当前的帧中无运动的情况下，输出表示全部像素读出的全部像素读出指示信号225。在此以外的情况，即在由实施拍摄信号224表示处于拍摄期间中，且由运动判断信号226表示在当前的帧中存在运动的情况下，输出表示间拔读出的全部像素读出指示信号225。再者，判断部204也可以不将运动判断信号226作为输入，不对按照运动的全部像素读出指示信号225进行控制。进而，判断部204也可以定期输出指示全部像素读出的全部像素读出指示信号225。 
读出方式切换部201在由拍摄模式信号220表示高速读出模式，且由全部像素读出指示信号225表示全部像素读出的情况下，输出表示全部像素读出模式的读出方式指示信号221。在此以外的情况，即由拍摄模式信号220表示一般读出模式的情况，及由拍摄模式信号220表示高速读出模式、且由全部像素读出指示信号225表示间拔像素读出的情况下，输出表示间拔像素读出模式的读出方式指示信号221。再者，即使在没有由拍摄模式信号220表示高速读出模式的情况下，读出方式切换部201也可以以例如用于提高拍摄感光度的摄像像素混合等其他目的，指示间拔像素读出。 
其次，利用图11对高速读出模式时的、控制部210及摄像部202的具体工作的例子进行说明。图11是表示高速读出模式时的控制部210及摄像部202的工作的例子的图。 
在图11中，拍摄准备信号223是在拍摄准备期间的情况下的值为1，在此以外的情况下的值为0的信号。实施拍摄信号224是在拍摄期间中的情况下的值为1，在此以外的情况下的值为0的信号。拍摄结束信号227是在拍摄结束期间的情况下的值为1，在此以外的情况下的值为0的信号。全部像素读出指示信号225是在表示全部像素读出的情况下的值为1，在表示间拔像素读出的情况下的值为0的信号。读出 方式指示信号221是在表示全部像素读出模式的情况下的值为1，表示间拔像素读出模式的情况下的值为0的信号。拍摄模式信号220是在表示高速读出模式的情况下的值为1，在表示一般读出模式的情况下的值为0的信号。运动判断信号226是在当前的帧中无运动的情况下的值为1，在当前的帧中存在运动的情况下的值为0的信号。再者，所述任一信号都可以是其意思和实际的值之间的关联性为上述以外的情况。 
并且，因为在拍摄模式信号220的值取0的情况下的工作，与上述的图像处理装置100相同，所以省略对其的说明。 
以下，对在拍摄模式信号220的值取1的情况下、即高速读出模式中的图像处理装置200的工作进行说明。 
首先，在拍摄开始之前，拍摄准备信号223的值变成1，表示是拍摄准备期间。此时，判断部204输出表示值为1的全部像素读出指示信号225。因此，读出方式切换部201输出表示值为1的读出方式指示信号221。因此，摄像部202以全部像素读出模式来工作。即，摄像部202花费时间Tf将全部像素读出的帧作为摄像图像信号222输出。 
其次，在通过实施拍摄信号224的值从0变成1，从而表示拍摄开始了的情况下，判断部204输出表示值为0的全部像素读出指示信号225。因此，读出方式切换部201输出表示值为0的读出方式指示信号221。因此，摄像部202以间拔读出模式工作。即，摄像部202花费时间Tp将间拔像素读出的帧作为摄像图像信号222输出。 
在此，因为从一帧的数据量中减少对像素进行间拔的量，所以传输时间Tp比Tf短。因此，间拔像素读出模式时能够比全部像素读出模式时早开始下一个帧的传输。这样，拍摄期间中通过使摄像部202以间拔像素读出模式工作，能够在拍摄期间中高速地拍摄图像。 
并且，在检测出拍摄期间中摄像图像信号222所包含的帧中无运动的情况下，由超解像部203输出值为1的运动判断信号226。此时， 判断部204输出表示值为1的全部像素读出指示信号225。因此，读出方式切换部201输出表示值为1的读出方式指示信号221。因此，摄像部202以全部像素读出模式来工作。即，摄像部202花费时间Tf将全部像素读出的帧作为摄像图像信号222输出。此时，因为是Tf＞Tp，所以在该全部像素读出期间中帧频降低。但是，由于帧频降低的图像是无运动的图像，所以能够抑制所谓拍摄图像的运动不平稳之类的主观性的画质劣化。另一方面，通过在拍摄期间中进行全部像素读出，能够得到更加高清晰的图像。因此，能够提高拍摄图像的画质。 
其次，若拍摄期间结束，则拍摄准备信号223的值变为0，并且拍摄结束信号227的值变为1，以显示是拍摄结束期间。此时，判断部204输出表示值为1的全部像素读出指示信号225。因此，读出方式切换部201输出表示值为1的读出方式指示信号221。因而，摄像部202以全部像素读出模式来工作。即，摄像部202花费时间Tf将全部像素读出的帧作为摄像图像信号222输出。 
其次，利用图12对有关超解像部203的内部构成及工作进行说明。图12是表示超解像部203的构成的框图。 
如图12所示，超解像部203包括：帧存储器244，将摄像图像信号222作为输入，并输出记忆摄像图像信号231；运动检测部243，将摄像图像信号222和记忆摄像图像信号231作为输入，并输出运动信息信号232和运动判断信号226；超解像执行部242，将摄像图像信号222和记忆摄像图像信号231作为输入，并输出超解像图像信号233；信号切换部241，将读出方式指示信号221和摄像图像信号222作为超解像图像信号233，并将输出图像信号229输出。 
帧存储器244暂时记忆摄像图像信号222所包含的被全部像素读出或者被间拔像素读出的帧，并将记忆的帧作为记忆摄像图像信号231输出。 
运动检测部243对摄像图像信号222所包含的当前的帧和记忆摄像图像信号231所包含的过去被记忆的帧之间的运动进行检测，并输 出表示当前的帧内的一个以上的物体的运动量的运动信息信号232和表示当前的帧中是否存在运动的运动判断信号226。有关运动检测的方法，也可以利用例如“デイジタル画像压縮の基礎(数字图像压缩的基础)：安田浩、渡边裕/日经BP出版中心/1.3.2节”(非专利文献：1)所说明的运动检测法。再者，也可以利用在此之外的任意的运动检测法。例如，运动检测部243在由低分辨率的摄像图像信号222表示的图像的、在时间上位于当前的帧之前或之后的帧与当前的帧之间，进行运动补偿。具体而言，将帧分割为块单位并进行块匹配。 
例如，运动信息信号232是在将帧分割为块单位并进行了块匹配的情况下的运动矢量信息。再者，检测运动的单位也可以不是块而是任意形状的区域。 
同时，运动判断信号226例如是进行所述块匹配的情况下的被进行运动补偿了的块之间的各个像素值的差分绝对值之和，或者例如是进行所述块匹配的情况下的运动补偿中的运动矢量的大小。再者，运动判断信号226也可以是不进行运动补偿的、单纯是当前的帧和过去被记忆的帧的彼此相同位置的各个像素值的差分绝对值之和。而且，运动判断信号226及运动信息信号232也可以是根据上述以外的运动检测法导出的运动量的指标。 
而且，运动判断信号226也可以包含表示运动量的多个信息。例如，运动判断信号226也可以同时包含上述差分绝对值之和与上述运动矢量的大小。在此情况下，判断部204在上述差分绝对值之和比预先决定的值小的情况下，或者在上述运动矢量的大小比预先决定的值小的情况下，或者上述两种情况都存在的情况下，判断当前的帧中无运动。 
进而，超解像部203的构成也可以不包括帧存储器244及运动检测部243，超解像执行部242也可以不利用时间上不同的帧的信息而进行高分辨率化，在此情况下也可以不输出运动判断信号226。 
超解像执行部242通过对被间拔像素读出的低分辨率的摄像图像 信号222进行超解像处理，从而对低分辨率的摄像图像信号222进行高分辨率化，并将进行了高分辨率化的图像作为超解像图像信号233输出。例如，超解像执行部242通过与专利文献2相同的方法进行超解像处理。具体而言，超解像执行部242利用在拍摄期间之外由摄像部202输出的高分辨率的摄像图像信号222，通过对在拍摄期间中由摄像部202输出的低分辨率的摄像图像信号222进行高分辨率化，从而生成超解像图像信号233。而且，超解像执行部242参考运动信息信号232，并利用通过运动检测部243进行了运动补偿的在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧，进行超解像处理。即，超解像执行部242利用多个帧的被运动补偿后的块，来进行以块为单位的超解像处理。 
信号切换部241在由读出方式指示信号221表示全部像素读出模式的情况下，将摄像图像信号222作为输出图像信号229输出。并且，信号切换部241在由读出方式指示信号221表示间拔像素读出模式的情况下，将超解像图像信号233作为输出图像信号229输出。 
图13及图14是表示根据超解像执行部242的超解像处理的一个例子的图。例如，如图13所示，在超解像执行部242生成超解像图像信号233所包含的某一时刻的帧的情况下，利用摄像图像信号222所包含的该时刻的帧和该帧后续的两张帧，即利用摄像图像信号222所包含的在时间上连续的三张帧，来生成超解像图像信号233所包含的该时刻的帧。而且，在该三张帧中不包含高分辨率的帧(被全部像素读出的帧)的情况下，进一步，利用附加了在拍摄期间之外拍摄的、在时间上最接近的高分辨率的帧后的四张帧，来生成超解像图像信号233所包含的该时刻的帧。 
通过这样的利用高分辨率图像进行超解像处理，如图14所示，能够将不包含在原来的低分辨率的帧中的像素位置的信号以较好的精度复原。 
再者，用于超解像处理的帧可以是两张或者四张以上，也可以包 含多张高分辨率图像。 
而且，如图13所示，仅将对拍摄期间中的摄像图像信号222进行了超解像处理的帧的信号作为输出图像信号229输出，而拍摄期间之外的被拍摄的摄像图像信号222不作为输出图像信号229输出。在此，输出图像信号229例如是被数字静态照相机所具备的记忆部等记录的、或被输出到外部设备的信号。再者，也可以在此输出图像信号229进行规定的图像处理(对比度补正、色彩变换、及图像压缩等)之后，被记录在记忆部等、或被输出到外部设备。 
而且，超解像部203还可以输出包含所有的帧的输出图像信号229，所述所有的帧中包含在拍摄期间之外被拍摄的帧。在此情况下，图像处理装置200对各个帧赋予表示该帧是拍摄期间中被拍摄的帧，还是拍摄期间之外被拍摄的帧的标识符信息之后，将其输出。因此，在数字静态照相机所具备的后段的处理部，或者在其他的装置中，能够容易地区别拍摄期间中被拍摄的图像与拍摄期间之外被拍摄的图像。 
而且，也可以不立刻针对摄像图像信号222进行超解像处理，而是在赋予上述的标识符信息之后，输出到记忆部或者外部设备等。在此情况下，也可以通过外部设备进行利用该被输出的摄像图像信号222的超解像处理，还可以通过数字静态照相机内的处理部，在任意的定时(用户的指示、或者向外部设备输出时等)进行超解像处理。 
图15是表示在帧中无运动、且在拍摄期间中拍摄了高分辨率图像的情况下的根据超解像执行部242的超解像处理的一个例子的图。 
如图15所示，在拍摄期间中被拍摄的高分辨率的摄像图像信号222照原样作为输出图像信号229被输出。 
其次，对图像处理装置200中的图像处理方法的流程进行说明。 
图16是图像处理装置200中的图像处理方法的流程图。 
首先，拍摄模式取得部206通过取得拍摄模式信号220，来取得拍摄模式(步骤S21)。 
其次，控制部210参考拍摄模式信号220，从而判断当前的拍摄模式是否为高速读出模式(步骤S22)。在当前的拍摄模式为高速读出模式的情况下(步骤S22的“是”)，拍摄期间取得部205取得依据用户的操作的摄像期间(步骤S26)。其次，控制部210参考拍摄准备信号223，从而判断是否为拍摄准备期间，即判断是否还没有指示拍摄的开始、且从现在起进入开始拍摄的状态(步骤S27)。 
并且，控制部210参考拍摄结束信号227，从而判断是否为拍摄结束期间、即是否为结束正在拍摄的状态的瞬间(步骤S28)。 
而且，控制部210参考运动判断信号226，从而判断当前的帧中是否存在运动(步骤S29)。 
在不是拍摄准备期间及拍摄结束期间，且当前的帧中存在运动的情况下(步骤S27的“否”、且步骤S28的“否”、且步骤S29的“否”)，控制部210对摄像部202指示间拔读出模式(步骤S30)。因此，摄像部202读出比构成一帧的全部像素少的被间拔的像素的信号，并将读出的信号作为摄像图像信号222输出(步骤S31)。其次，超解像部203利用被间拔像素读出的低分辨率的摄像图像信号222所包含的在时间上为连续的多个帧，例如通过进行如专利文献2的超解像处理，来生成高分辨率的帧，并将包含生成的帧的输出图像信号229输出(步骤S32)。 
另一方面，在当前的拍摄模式是一般读出模式的情况(步骤S22的“否”)、拍摄准备期间的情况(步骤S27的“是”)、拍摄结束期间的情况(步骤S29的“是”)、当前的帧中无运动的情况(步骤S29的“是”)之中的任一种情况下，控制部210对摄像部202指示全部像素读出模式(步骤S23)。因此，摄像部202读出构成一帧的全部像素，并作为摄像图像信号222输出(步骤S24)。其次，超解像部203将此被全部像素读出的摄像图像信号222照原样作为输出图像信号229输出(步骤S25)。 
如上所述，本发明的实施例1所涉及的图像处理装置200在高速 读出模式时，基本上通过使摄像部202以间拔像素读出模式工作的情况下，对被间拔像素读出的低分辨率的图像进行超解像处理，从而生成高分辨率的图像。因此，图像处理装置200能够实现高分辨率的高速连拍及高帧频运动图像拍摄。 
进而，图像处理装置200在拍摄期间之外(拍摄期间前及拍摄期间后)使摄像部202以全部像素读出模式工作的情况下，利用被全部像素读出的高分辨率的帧，进行超解像处理。因此，能够提高利用超解像处理生成的高分辨率的图像的画质。而且，因为全部像素读出的帧是拍摄期间之外的帧，所以即使进行了全部像素读出，拍摄期间中的帧频也不会降低。因此，本发明的实施例1所涉及的图像处理装置200在高速读出模式中，能够照样维持高帧频并抑制画质的降低。 
进而，图像处理装置200在拍摄期间中，在被摄对象的运动小的情况下，进行全部像素读出。在进行此全部像素读出的期间中帧频会降低，但是因为帧频降低的图像是无运动的图像，所以能够抑制所谓拍摄图像的运动不平稳之类的主观性的画质劣化。另一方面，通过拍摄期间中进行全部像素读出，能够得到更加高清晰的图像。并且，通过将此进行了全部像素读出的帧应用于其他的进行了间拔像素读出的帧的超解像处理，能够提高其他的帧的画质。 
再者，上述说明中，虽然在拍摄准备期间、拍摄结束期间、拍摄期间中的无运动的期间的所有的期间中，摄像部202进行全部像素读出，但是也可以在任意的一个以上的期间中进行全部像素读出。 
而且，在拍摄准备期间使摄像部202以全部像素读出模式工作的情况，与在拍摄结束期间使摄像部202以全部像素读出模式工作的情况相比，拍摄结束期间使摄像部202以全部像素读出模式工作的情况具有以下的优点。 
首先，如图11所示，拍摄准备期间的最后被拍摄的高分辨率的帧和拍摄期间的最初被拍摄的低分辨率之间的时间间隔为Tf，拍摄结束期间的最初被拍摄的高分辨率的帧和拍摄期间的最后被拍摄的低分辨 率的帧之间的时间间隔为Tp。即，在拍摄结束期间被拍摄的帧与拍摄期间中被拍摄的低分辨率的帧之间的时间上的距离，比在拍摄准备期间被拍摄的帧与拍摄期间中被拍摄的低分辨率的帧之间的时间上的距离短。因而，图像处理装置200能够利用在时间上更接近的、即关联大的高分辨率的帧，来进行超解像处理。因此，图像处理装置200通过超解像处理，能够生成更高画质的图像。 
进而，在拍摄准备期间拍摄高分辨率的图像的情况下，在拍摄准备期间被拍摄的图像的帧频会降低。例如，若设想在显示器等上显示由摄像部202拍摄的图像，并且用户边看该图像边进行拍摄的情况等，为了使用户在更恰当的时机进行拍摄，在拍摄准备期间被拍摄的图像最好是高帧频。另一方面，即使在拍摄结束期间帧频降低，也不会对用户的拍摄产生如此的不良影响。 
进而，虽然在依据半按数字静态照相机的快门按钮等以往的功能，而能够生成拍摄准备信号223的情况下没有问题，但是在通过没有半按判断的按钮或者通过触摸屏等操作来开始拍摄的情况下，则为了确定拍摄准备期间，需要追加功能。另一方面，能够从拍摄期间容易地推导出拍摄结束期间。即，在许多摄影设备中，都能够容易地实现在拍摄结束期间切换到全部像素读出模式的控制。 
同时，如上述说明所述，最好是在拍摄准备期间及拍摄结束期间的双方中，拍摄高分辨率的图像，并利用该高分辨率的图像进行超解像处理。例如，如图13所示，图像处理装置200对于在拍摄期间的前半部分拍摄的帧，能够利用在拍摄准备期间被拍摄的高分辨率的帧进行超解像处理；对于在拍摄期间的前半部分拍摄的帧，能够利用在拍摄结束期间被拍摄的高分辨率的帧进行超解像处理。即，图像处理装置200能够利用在时间上更接近的高分辨率的帧，来进行超解像处理。因此，图像处理装置200通过超解像处理，能够生成更高画质的图像。 
并且，虽然在上述说明中，在拍摄准备期间被拍摄的高分辨率的帧是拍摄期间开始之前的紧前面(时间Tf之前)的帧，但是只要在拍 摄期间的开始之前，也可以拍摄紧前面的帧以外的高分辨率的帧。但是，若考虑与在拍摄期间被拍摄的帧的关联，则最好在更接近于拍摄期间的开始时刻的时刻，拍摄高分辨率的帧。 
同样，虽然在上述说明中，在拍摄结束期间被拍摄的高分辨率的帧是拍摄期间刚结束后(时间Tp之后)的帧，但是只要在拍摄期间的结束之后，也可以拍摄刚结束之后以外的高分辨率的帧。但是，若考虑与在拍摄期间被拍摄的帧的关联，则最好在更接近于拍摄期间的结束时刻的时刻，拍摄高分辨率的帧。 
(实施例2) 
本发明的实施例2所涉及的图像处理装置300在上述实施例1所涉及的图像处理装置200的功能之外，还附加了按照是否进行显示器显示，而以间拔像素读出和全部像素读出对拍摄方法进行切换。而且，本发明的实施例2所涉及的图像处理装置300利用在时间上最接近的高分辨率的帧，进行超解像处理。 
图17是表示本发明的实施例2所涉及的图像处理装置300的构成的框图。另外，对与图8同样的元件附加相同的标记，并省略与实施例1重复的说明。 
图17所示的图像处理装置300在图8所示的图像处理装置200的构成之外，还包括显示器显示部307。并且，判断部304及超解像部303的构成与实施例1不同。 
显示器显示部307将显示器有效信号327和输出图像信号229作为输入，来显示输出图像信号229的图像。具体而言，显示器显示部307在显示器有效信号327指示进行显示器显示的情况下，利用液晶显示器或者有机EL显示器(organic electroluminescence display：有机电致发光显示器)等显示设备，对输出图像信号229进行显示器显示。并且，显示器显示部307在显示器有效信号327指示不进行显示器显示的情况下，不进行输出图像信号229的图像的显示器显示。再者，在显示器有效信号327指示不进行显示器显示的情况下，显示 器显示部307也可以显示输出图像信号229以外的图像及信息，例如也可以显示ISO感光度、光圈的F值、以及快门速度等拍摄条件等。 
显示器有效信号327是根据用户的操作的信号，并且是表示是否进行显示器显示的信号。具体而言，在由用户设定显示器显示模式的情况下，例如，在用户边看显示器所显示的图像边进行拍摄的情况下，显示器有效信号327表示进行显示器显示。而且，在由用户设定显示器不显示模式的情况下，例如，在用户通过光学取景器边看被摄对象边进行拍摄的情况下，显示器有效信号327表示不进行显示器显示。 
判断部304将实施拍摄信号224、拍摄准备信号223、运动判断信号226、以及显示器有效信号327作为输入，并输出全部像素读出指示信号225。即，判断部304在实施例1的功能之外，还附加按照显示器有效信号327，输出全部像素读出指示信号225的功能。具体而言，判断部304在显示器进行显示的情况下，即使在拍摄准备期间的情况下、或者在拍摄期间中被摄对象无运动的情况下，也不输出表示全部像素读出的全部像素读出指示信号225。 
即，判断部304在由显示器有效信号327表示不进行显示器显示、且由实施拍摄信号224表示不是拍摄期间、且由拍摄准备信号223表示处于拍摄准备期间的情况下，输出表示全部像素读出的全部像素读出指示信号225。而且，判断部304在由实施拍摄信号224表示处于拍摄结束期间的情况下，输出表示全部像素读出的全部像素读出指示信号225。进而，判断部304在由显示器有效信号327表示不进行显示器显示、且由运动判断信号226表示在当前的帧中无运动的情况下，输出表示全部像素读出的全部像素读出指示信号225。 
并且，判断部304于在此以外的情况下，即在由显示器有效信号327表示进行显示器显示、且由实施拍摄信号224表示不是拍摄期间、且由拍摄准备信号223表示处于拍摄准备期间的情况下，和在由实施拍摄信号224表示处于拍摄期间、且由运动判断信号226表示当前的帧中序在运动的情况下，以及由实施拍摄信号224表示处于拍摄期间、 且由显示器有效信号237表示进行显示器显示、且由运动判断信号226表示当前的帧中无运动的情况下，输出表示间拔像素读出的全部像素读出指示信号225。 
再者，判断部304也可以不将运动判断信号226作为输入，不对按照运动的全部像素读出指示信号225进行控制。进而，判断部304也可以定期地输出表示全部像素读出的全部像素读出指示信号225。 
其次，对图像处理装置300中的图像处理方法的流程进行说明。 
图18是图像处理装置300中的图像处理方法的流程图。并且，有关与图16所示的实施例1所涉及的图像处理装置200中的图像处理方法同样的处理，省略对其的说明。 
图像处理装置300中的图像处理方法相对于实施例1所涉及的图像处理装置200中的图像处理方法，在高速读出模式时(步骤S22的“是”)的、拍摄准备期间(步骤S27的“是”)以及在当前的帧中无运动的情况下(步骤S29的“是”)的工作不同。 
具体而言，在拍摄准备期间(步骤S27的“是”)以及在当前的帧中无运动的情况下(步骤S29的“是”)，判断部304参考显示器有效信号327，从而判断显示器显示部307是否正在显示器上显示输出图像信号229的图像(步骤S41)。 
在显示器显示部307正在显示器上显示输出图像信号229的图像的情况下(步骤S41的“是”)，控制部210对摄像部202指示间拔像素读出模式(步骤S30)。因此，摄像部202读出比构成一帧的全部像素少的被间拔后的像素的信号，并将读出的信号作为拍摄图像信号222输出(步骤S31)。其次，超解像部203利用被间拔像素读出的低分辨率的摄像图像信号222所包含的在时间上为连续的多个帧，例如通过进行如专利文献2的超解像处理而生成高分辨率的帧，并输出包含生成的高分辨率的帧的输出图像信号229(步骤S32)。 
另一方面，在显示器显示部307没有正在显示器上显示输出图像信号229的图像的情况下(步骤S41的“否”)，控制部210对摄像部 202指示全部像素读出模式(步骤S23)。因此，摄像部202读出构成一帧的全部像素，并作为摄像图像信号222输出(步骤S24)。其次，超解像部203将被全部像素读出的摄像图像信号222照原样作为输出图像信号229输出(步骤S25)。 
其次，对超解像部303的构成及工作进行说明。 
图19是表示超解像部303的构成的框图。另外，对与图12同样的元件附加相同的标记，并省略重复的说明。 
图19所示的超解像部303在图12所示的超解像部203的构成之外，还包括时间差分判断部345。而且，帧存储器344的构成不同。 
帧存储器344暂时记忆摄像图像信号222所包含的全部像素或者间拔像素读出的帧。并且，帧存储器344输出帧信息信号334和记忆摄像图像信号231。 
帧信息信号334包含帧存储器344所记忆的各个帧的时刻，和表示该各个帧是被全部像素读出的帧(以下的全部像素读出帧)、还是被间拔像素读出的帧(以下的间拔像素读出帧)的信息。记忆摄像图像信号231包含帧存储器344所记忆的间拔像素读出帧，以及由帧选择信号335选择的全部像素读出帧。 
时间差分判断部345根据帧信息信号334，来判断既是全部像素读出帧、且与当前的帧的时刻最接近的帧。而且，时间差分判断部345输出帧选择信号335，该帧选择信号335指定既是全部像素读出帧、且与当前的帧的时刻最接近的帧。 
运动检测部243对摄像图像信号222所包含的当前的帧和记忆摄像图像信号231所包含的过去被记忆的帧之间的运动进行检测，并输出表示当前的帧内的一个以上的物体的运动量的运动信息信号232和表示当前的帧中是否存在运动的运动判断信号226。 
图20是表示在由超解像执行部242进行的超解像处理中所使用的帧的例子的图。在此图20表示，将全部像素读出帧的摄像间隔设为Tf，将间拔像素读出帧的摄像间隔设为Tp，Tf＝2×Tp的情况下的例 子。 
在对图20所示的帧403进行高分辨率化的情况下，与帧403在时间上最接近的全部像素读出帧是帧402。因而，时间差分判断部345输出指定帧402的帧选择信号335。因此，超解像执行部242利用帧402进行帧403的高分辨率化。再者，超解像执行部242也可以进一步使用帧402以外的帧，例如也可以进一步使用虽然不是全部像素读出帧，但是为在时间上最接近的间拔读出帧的帧404。 
而且，在对帧405进行高分辨率化的情况下，与帧405在时间上最接近的全部像素读出帧是帧408。因而，时间差分判断部345输出指定帧408的帧选择信号335。因此，超解像执行部242利用帧408进行帧405的高分辨率化。再者，超解像执行部242也可以进一步使用帧408以外的帧，例如也可以进一步使用虽然不是全部像素读出帧，但是为在时间上最接近的间拔像素读出帧的帧404及帧406之中的至少一方。 
而且，在对帧409进行高分辨率化的情况下，与帧409在时间上最接近的全部像素读出帧是帧408和帧411。因而，时间差分判断部345输出指定帧408及帧411的任一个的帧选择信号335。因此，超解像执行部242利用由帧选择信号335指定的帧408或帧411，进行帧409的高分辨率化。再者，在图20的例子中，在帧409的高分辨率化中利用帧408。并且，超解像执行部242也可以进一步使用帧408以外的帧，例如也可以进一步使用虽然不是全部像素读出帧，但是为在时间上最接近的间拔像素读出帧的帧410。 
在此，一般而言，在时间上接近的帧彼此之间的帧间的关联性更大。因而，超解像执行部242通过将在时间上更接近的全部像素读出帧用于高分辨率化，从而能够利用全部像素读出帧的信息，以良好的精度来推算由于当前的帧的间拔像素读出而失去的图像信息。因此，本发明的实施例2所涉及的图像处理装置300能够通过超解像处理，得到更高画质的图像。 
再者，实施例1及2所涉及的超解像执行部242也可以利用如专利文献2的、被称为再构成型超解像的技术，或者也可以将全部像素读出帧作为学习数据，利用如特开2005-253000号公报(专利文献：3)中所示的被称为学习型超解像的技术。进而超解像执行部242也可以代替进行高分辨率化，同样利用在时间上接近的帧，例如也可以进行如特许第3458741号公报(专利文献：4)所示的进行动态范围扩大的图像处理。在此情况下，只要将上述说明中的间拔像素读出帧与曝光时间短的帧进行置换，将全部像素读出帧与曝光时间长的帧进行置换即可。 
综上所述，本发明的实施例2所涉及的图像处理装置300与实施例1所涉及的图像处理装置200同样，在高速读出模式中能够照样维持高帧频并抑制画质的降低。 
进而，图像处理装置300在显示器显示的情况下，即使是拍摄准备状态，也不进行全部像素读出。因此，能够在拍摄开始前的显示器显示中帧频不降低而顺利地开始拍摄。 
进而，图像处理装置300利用当前的帧中的在时间上最接近的全部像素读出的帧，进行超解像处理。因此，图像处理装置300通过超解像处理，能够得到更高画质的图像。 
再者，上述说明中，在拍摄准备期间的情况下，和在拍摄期间中图像中无运动的情况下，进一步，按照上述显示器显示的有无来进行控制，而仅在拍摄准备期间的情况，和在拍摄期间中图像中无运动的情况的任一方的情况下，也可以按照上述显示器显示的有无来进行控制。而且，在摄影结束期间，也可以按照上述显示器显示的有无进行的控制。 
(实施例3) 
在本发明的实施例3中，通过将为了实现上述各个实施例中所示的图像处理装置200或300的构成的程序记录在软磁盘等记忆介质中，对在独立的计算机系统中执行上述各个实施例所示的处理的例子进行 说明。 
图21A-图21C是在利用被记录在软磁盘等记录介质中的程序，并通过计算机系统实施上述各个实施例的图像处理装置的情况下的说明图。 
图21A是表示作为记录介质主体的软磁盘的物理格式化的例子的图。图21B是从正面所看到的软磁盘450的外观、软磁盘450的剖面结构，以及表示磁盘451的图。 
软磁盘450包括外壳452、在外壳452内被内置的磁盘451。在磁盘451的表面，从外周向内侧周长形成多个同心圆状的磁道453。各个磁道453按夹角方向被划分为16个扇区454。上述程序被记录在磁盘451上的被划分的区域中。 
并且，图21C是表示在软磁盘450上进行上述程序的记录，以及从软磁盘450读出上述程序及进行再生的计算机系统460的构成的图。在将实现图像处理装置200或300的上述程序记录在软磁盘450的情况下，计算机系统460通过软磁盘驱动器461将上述程序写入软磁盘。 
而且，在通过执行软磁盘450内的程序，从而在计算机系统460中构筑图像处理装置200或300的功能的情况下，由软磁盘驱动器461从软磁盘450读出程序，并传输给计算机系统460。计算机系统460通过执行被传输的程序，来实现上述的图像处理装置200或300的功能。 
再者，在上述说明中，虽然作为记录介质以软磁盘450为例进行了说明，但是也可以利用光盘进行同样的记录。而且，记录介质并不仅限于此，IC卡、盒式ROM等、只要能够记录程序就同样地能够实施。并且，不仅限于能够在计算机系统460上装卸的记录介质，计算机系统460也可以执行记录在计算机系统460所具备的HDD(硬盘驱动器)、非易失性存储器、RAM或者ROM中的程序。进而，计算机系统460还可以执行通过有线或无线的通信网络取得的程序。 
(实施例4) 
在本发明的实施例4中，对具备上述实施例1及2所涉及的图像处理装置200及300的数字照相机进行说明。 
图22A-图22C是表示本发明的实施例4所涉及的数字照相机500的外观图。图22A-图22C分别是从顶面、正面及背面所看到的数字照相机500的图。 
例如，数字照相机500是具有拍摄静止图像的功能，和拍摄运动图像的功能的数字静态照相机。此数字照相机500包括：快门按钮501、镜头502、显示器屏幕503、取景器504、拍摄模式切换转盘505、连拍模式切换按钮506、显示器显示按钮507。 
镜头502将光聚集在摄像部202。经过镜头502的光通过摄像部202被进行光电转换，并作为摄像图像信号222被输出。在此摄像部202例如是上述各个实施例所示的摄像部202。 
在用户半按快门按钮501的情况下，通过操作镜头502来对焦。而且，在用户半按快门按钮501的情况下，生成表示是拍摄准备期间的拍摄准备信号223。若利用图11的例子来说明，则快门按钮501在被半按下的情况下，拍摄准备信号223的值被设定为1。 
若用户旋转拍摄模式切换转盘505，则能够切换拍摄模式。在此所谓拍摄模式例如是指运动图像拍摄模式、静止图像拍摄模式、图像再生模式等。 
每当用户按下连拍模式切换按钮506之时，则拍摄模式被切换。例如，在静止图像拍摄模式时，每当按下连拍模式切换按钮506时，则拍摄模式按照一般拍摄模式、高速连拍模式、以及低速连拍模式的顺序被切换。在此所谓一般拍摄模式是指在用户按下快门按钮501之时，拍摄一张静止图像的模式。而且，高速连拍模式是指在用户按下快门按钮501之间，以每秒8张等来拍摄静止图像的模式。并且，低速连拍模式是指在用户按下快门按钮501之间，以每秒两张等来拍摄静止图像的模式。 
例如，在通过连拍模式切换按钮506设定了高速连拍模式的情况 下，生成表示高速读出模式的拍摄模式信号220。而且，在设定了一般拍摄模式及低速连拍模式的情况下，生成表示一般读出模式的拍摄模式信号220。 
而且，在运动图像拍摄模式时，每当用户按下连拍模式切换按钮506之时，被切换为高帧频运动图像拍摄模式、和低帧频运动图像拍摄模式。例如，高帧频运动图像拍摄模式是指在快门按钮501被按下之间，以每秒120帧等来拍摄运动图像的模式。并且，低帧频运动图像拍摄模式是指以每秒30帧等来拍摄运动图像的模式。 
例如，在通过连拍模式切换按钮506设定了高帧频运动图像拍摄模式的情况下，生成表示高速读出模式的拍摄模式信号220。而且，在设定了低帧频运动图像拍摄模式的情况下，生成表示一般读出模式的拍摄模式信号220。 
例如，显示器屏幕503是在实施例2中进行了说明的显示器显示部307，利用液晶显示器或者有机EL显示器等显示设备，对输出图像信号229进行显示器显示。 
每当用户按下显示器显示按钮507之时，在实施例2中进行了说明的显示器有效信号327的值在“进行显示器显示”和“不进行显示器显示”之间被切换。并且，在表示不进行显示器显示的显示器有效信号327被输出的情况下，显示器屏幕503对输出图像信号229不进行显示器显示。在此情况下，用户利用取景器504来确认拍摄对象。而且，在表示进行显示器显示的显示器有效信号327被输出的情况下，显示器屏幕503对输出图像信号229进行显示器显示。 
取景器504是对光学的像不进行光电转换等就照原样放映的光学取景器。 
再者，拍摄模式的转换方法及各个拍摄模式中的拍摄操作方法也可以为上述以外的方法。例如，作为在运动图像模式及连拍模式中的拍摄操作方法，也可以通过一次按下快门按钮501，来开始运动图像拍摄或者连拍，并通过再次按下快门按钮501，来结束运动图像拍摄 或者连拍。并且，该操作也可以利用快门按钮501以外的按钮来进行。而且，在开始运动图像拍摄或者连拍的操作时，即使在利用快门按钮501以外的按钮的情况下，也和快门按钮501同样，通过检测半按而能够生成拍摄准备信号223。 
并且，本发明所涉及的图像处理装置200及300也可以用于数字摄像机。 
(其他变形例) 
另外，虽然根据上述实施例对本发明进行了说明，但是，本发明当然不仅限于上述实施例。如下的情况也包含在本发明中。 
(1)具体而言，上述各个装置也可以是由微处理器、ROM、RAM、硬盘单元、显示单元、键盘、以及滑鼠等构成的计算机系统。在所述RAM或硬盘单元中记忆有计算机程序。通过所述微处理器按照所述计算机程序工作，使得各个装置完成其功能。在此，计算机程序为了完成规定的功能，表示针对计算机的指令的指令码为被进行多个组合而构成的。 
(2)构成上述各个装置的构成元件的一部分或全部也可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在一个芯片上集积多个构成部而制造的超级多功能LSI，具体而言，是包含微处理器、ROM、以及RAM等而构成的计算机系统。在所述RAM中记忆有计算机程序。通过所述微处理器按照所述计算机程序来工作，使得系统LSI完成其功能。 
(3)构成上述各个装置的构成元件的一部分或全部也可以由能够在各个装置上装卸的IC(Integrated Circuit：集成电路)卡或者单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、以及RAM等构成的计算机系统。所述IC卡或所述模块也可以包含上述超级多功能LSI。通过微处理器按照计算机程序工作，使得所述IC卡或所述模块完成其功能。此IC卡或此模块也可以具有抗干扰性。 
(4)本发明也可以作为如上所述的方法。并且，也可以是通过计 算机来实现这些方法的计算机程序，还可以是由所述计算机程序形成的数字信号。 
而且，本发明也可以将所述计算机程序或所述数字信号记录在计算机能够读取的记录介质上，例如：软磁盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc：蓝光光盘)、以及半导体存储器等。而且，也可以是记录在这些记录介质上的所述数字信号。 
并且，本发明也可以将所述计算机程序或所述数字信号，经由以电气通讯线路、无线或有线通讯线路、互联网为代表的网络、以及数据广播等进行传输。 
而且，本发明也可以是具备微处理器和存储器的计算机系统，所述存储器记忆所述计算机程序，所述微处理器按照所述计算机程序进行工作。 
并且，通过将所述程序或所述数字信号记录在所述记录介质上并进行转送，或者通过将所述程序或所述数字信号经由所述网络等进行转送，也可以通过其他的独立的计算机系统来实施。 
(5)也可以分别将上述实施例及上述变形例进行组合。 
本发明适用于图像处理装置、图像处理方法及程序，尤其适用于具备高速连拍及高帧频拍摄等高速地读出图像模式的数字静态照相机及数字摄像机等。 

Claims (13)

1.一种图像处理装置，包括：
拍摄期间取得部，取得拍摄期间；
摄像部，包括将光转换成电信号的多个像素，并具有第一模式和第二模式，所述第一模式输出低分辨率图像信号，所述低分辨率图像信号是由所述多个像素之中的第一像素数的像素转换的电信号，所述第二模式输出高分辨率图像信号，所述高分辨率图像信号是由所述多个像素之中的、比所述第一像素数多的第二像素数的像素转换的电信号；
控制部，在由所述拍摄期间取得部取得的拍摄期间中，使所述摄像部以所述第一模式工作，在所述拍摄期间结束后，使所述摄像部以所述第二模式工作；以及
超解像部，通过利用在所述拍摄期间结束后由以所述第二模式工作的所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化，从而生成超解像图像信号。
2.如权利要求1所述的图像处理装置，
所述控制部还在所述拍摄期间开始之前，使所述摄像部以所述第二模式工作，
所述超解像部还利用在所述拍摄期间开始之前由所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。
3.如权利要求2所述的图像处理装置，
所述图像处理装置还包括：
显示器显示部，在显示器上显示所述低分辨率图像信号的图像、所述高分辨率图像信号的图像、或者所述超解像图像信号的图像，
所述控制部在所述拍摄期间开始之前，所述显示器显示部在显示器上没有显示所述低分辨率图像信号的图像、所述高分辨率图像信号的图像、或者所述超解像图像信号的图像的情况下，使所述摄像部以所述第二模式工作，在所述拍摄期间开始之前，所述显示器显示部在显示器上显示所述高分辨率图像信号的图像、或者所述超解像图像信号的图像的情况下，使所述摄像部以所述第一模式工作。
4.如权利要求2所述的图像处理装置，
所述拍摄期间取得部取得拍摄准备信号，所述拍摄准备信号表示快门按钮是否被半按下，
所述控制部在由所述拍摄准备信号表示快门按钮被半按下的情况下，使所述摄像部以所述第二模式工作。
5.如权利要求1所述的图像处理装置，
所述控制部还在由所述低分辨率图像信号表示的图像的运动比预先规定的值小的情况下，在所述拍摄期间中，使所述摄像部以所述第二模式工作，
所述超解像部还利用在所述拍摄期间中由所述摄像部输出的所述高分辨率图像信号，对在该拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。
6.如权利要求5所述的图像处理装置，
所述控制部在由所述低分辨率图像信号表示的图像的、在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧之间的像素值的差分绝对值之和的值比预先规定的值小的情况下，判断为由所述低分辨率图像信号表示的图像的运动比预先规定的值小。
7.如权利要求5所述的图像处理装置，
所述超解像部在由所述低分辨率图像信号表示的图像的、在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧之间进行运动补偿，并利用进行了该运动补偿的、在时间上位于当前的图像帧之前或之后的图像帧和当前的图像帧，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化，
所述控制部在进行了所述运动补偿的、所述在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧之间的像素值的差分绝对值之和比预先规定的值小的情况下，或者表示所述运动补偿中的运动量的运动矢量的大小比预先规定的值小的情况下，或者上述两种情况都存在的情况下，判断为由所述低分辨率图像信号表示的图像的运动比预先规定的值小。
8.如权利要求1所述的图像处理装置，
所述超解像部为了对所述低分辨率图像信号的当前的图像帧进行高分辨率化，优先使用所述高分辨率图像信号的图像帧之中的、与该当前的图像帧在时间上最接近的图像帧。
9.如权利要求1所述的图像处理装置，
所述控制部还在所述拍摄期间中，定期使所述摄像部以所述第二模式工作，
所述超解像部还利用在所述拍摄期间中由所述摄像部输出的所述高分辨率图像信号，对在该拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。
10.如权利要求1所述的图像处理装置，
所述控制部在作为所述拍摄期间结束后的期间的所述拍摄期间刚结束后的期间，使所述摄像部以所述第二模式工作，
所述超解像部利用在所述拍摄期间刚结束后由所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。
11.如权利要求1所述的图像处理装置，
所述摄像部在所述第一模式时，以第一帧频输出所述低分辨率图像信号，在所述第二模式时，以比所述第一帧频慢的第二帧频输出所述高分辨率图像信号。
12.一种图像处理装置，包括：
拍摄期间取得部，取得拍摄期间；
摄像部，包括将光转换成电信号的多个像素，并具有第一模式和第二模式，所述第一模式输出低分辨率图像信号，所述低分辨率图像信号是由所述多个像素之中的第一像素数的像素转换的电信号，所述第二模式输出高分辨率图像信号，所述高分辨率图像信号是由所述多个像素之中的、比所述第一像素数多的第二像素数的像素转换的电信号；
控制部，在由所述拍摄期间取得部取得的拍摄期间中，使所述摄像部以所述第一模式工作，在所述拍摄期间开始之前，使所述摄像部以所述第二模式工作，
所述超解像部利用在所述拍摄期间开始之前由以所述第二模式工作的所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化。
13.一种图像处理装置的图像处理方法，所述图像处理装置包括：
摄像部，包括将光转换成电信号的多个像素，并具有第一模式和第二模式，所述第一模式输出低分辨率图像信号，所述低分辨率图像信号是由所述多个像素之中的第一像素数的像素转换的电信号，所述第二模式输出高分辨率图像信号，所述高分辨率图像信号是由所述多个像素之中的、比所述第一像素数多的第二像素数的像素转换的电信号，
所述图像处理方法包含：
拍摄期间取得步骤，取得拍摄期间；
控制步骤，在所述拍摄期间取得步骤中取得的所述拍摄期间中，使所述摄像部以所述第一模式工作，在所述拍摄期间结束后，使所述摄像部以所述第二模式工作；以及
超解像步骤，通过利用在所述拍摄期间结束后由以所述第二模式工作的所述摄像部输出的所述高分辨率图像信号，对在所述拍摄期间中由所述摄像部输出的所述低分辨率图像信号进行高分辨率化，从而生成超解像图像信号。
CN2009800002076A 2008-02-06 2009-02-05 图像处理装置及图像处理方法 Active CN101682691B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008026159 2008-02-06
JP026159/2008 2008-02-06
PCT/JP2009/000438 WO2009098877A1 (ja) 2008-02-06 2009-02-05 画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
CN101682691A CN101682691A (zh) 2010-03-24
CN101682691B true CN101682691B (zh) 2013-05-22

Family

ID=40951957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009800002076A Active CN101682691B (zh) 2008-02-06 2009-02-05 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US8264565B2 (zh)
JP (1) JP5243432B2 (zh)
CN (1) CN101682691B (zh)
WO (1) WO2009098877A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626003B1 (ko) * 2009-08-24 2016-06-13 삼성전자주식회사 디지털 촬영장치
JP5645051B2 (ja) * 2010-02-12 2014-12-24 国立大学法人東京工業大学 画像処理装置
JP5764740B2 (ja) * 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
JP5853372B2 (ja) * 2011-01-26 2016-02-09 富士通株式会社 画像処理装置および画像処理方法
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
CN103650486B (zh) * 2011-07-08 2016-03-02 奥林巴斯株式会社 摄像装置和图像生成方法
RU2014122314A (ru) 2011-11-03 2015-12-10 Конинклейке Филипс Н.В. Обработка данных об изображениях
US8976254B2 (en) * 2012-06-08 2015-03-10 Apple Inc. Temporal aliasing reduction and coding of upsampled video
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
GB2511405B (en) * 2012-12-28 2016-01-27 Canon Kk Image pickup element, image pickup apparatus, and method and program for controlling the same
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
CN105830424B (zh) * 2013-10-18 2018-12-11 光实验室股份有限公司 图像捕获控制方法和装置
US9300869B2 (en) * 2013-10-24 2016-03-29 Fujitsu Limited Reduction of spatial resolution for temporal resolution
KR20150141426A (ko) 2014-06-10 2015-12-18 삼성전자주식회사 전자 장치 및 전자 장치에서의 이미지 처리 방법
US9674426B2 (en) * 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US20170230612A1 (en) * 2016-02-04 2017-08-10 Shane Ray Thielen Adaptive resolution encoding for streaming data
KR102553598B1 (ko) * 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法
WO2020044763A1 (ja) 2018-08-31 2020-03-05 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
CN112889264A (zh) * 2018-10-15 2021-06-01 华为技术有限公司 用于处理图像数据的方法、装置、程序和记录介质
JP7010259B2 (ja) * 2019-03-20 2022-02-10 カシオ計算機株式会社 撮像装置、撮像方法およびプログラム
KR20200141338A (ko) 2019-06-10 2020-12-18 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
US11895407B2 (en) * 2019-07-24 2024-02-06 Sony Group Corporation Imaging device and imaging method
JP7303896B2 (ja) * 2019-11-08 2023-07-05 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804419B1 (en) * 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
CN1604655A (zh) * 2003-09-30 2005-04-06 松下电器产业株式会社 彩色固态图像拾取装置
CN1662038A (zh) * 2004-02-27 2005-08-31 京瓷株式会社 成像设备及成像设备的图像产生方法
CN1684491A (zh) * 2004-02-27 2005-10-19 卡西欧计算机株式会社 图像处理装置、图像投影装置、图像处理方法和程序
JP2007135133A (ja) * 2005-11-14 2007-05-31 Nikon Corp 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JP4371457B2 (ja) 1999-02-18 2009-11-25 キヤノン株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP3458741B2 (ja) 1998-12-21 2003-10-20 ソニー株式会社 撮像方法及び撮像装置、画像処理方法及び画像処理装置
JP4513357B2 (ja) * 2004-03-02 2010-07-28 セイコーエプソン株式会社 画像の出力に用いる出力装置に適した画像データの生成
JP2005253000A (ja) 2004-03-08 2005-09-15 Mitsubishi Electric Corp 画像処理装置
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US7321700B1 (en) * 2004-04-15 2008-01-22 Apple Inc. Producing smooth motion compensated frames by combining multiple interpolation results
JP4483483B2 (ja) 2004-08-31 2010-06-16 株式会社ニコン 撮像装置
JP4282645B2 (ja) * 2005-08-31 2009-06-24 株式会社東芝 撮像装置
EP1993278A1 (en) * 2006-03-03 2008-11-19 Olympus Corporation Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804419B1 (en) * 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
CN1604655A (zh) * 2003-09-30 2005-04-06 松下电器产业株式会社 彩色固态图像拾取装置
CN1662038A (zh) * 2004-02-27 2005-08-31 京瓷株式会社 成像设备及成像设备的图像产生方法
CN1684491A (zh) * 2004-02-27 2005-10-19 卡西欧计算机株式会社 图像处理装置、图像投影装置、图像处理方法和程序
JP2007135133A (ja) * 2005-11-14 2007-05-31 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
CN101682691A (zh) 2010-03-24
US8264565B2 (en) 2012-09-11
JP5243432B2 (ja) 2013-07-24
JPWO2009098877A1 (ja) 2011-05-26
WO2009098877A1 (ja) 2009-08-13
US20100141783A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
CN101682691B (zh) 图像处理装置及图像处理方法
JP4160883B2 (ja) 画像記録装置及び画像記録方法
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
CN101419666B (zh) 图像处理装置、图像捕获装置、图像处理方法及记录媒介
CN101263706B (zh) 摄像装置、记录方法
JP5043736B2 (ja) 撮像装置及びその制御方法
US8767096B2 (en) Image processing method and apparatus
US20100110235A1 (en) Apparatus, method and software stored on a computer-readable storage medium, for reducing noise in an image
JP4605217B2 (ja) 撮影装置及びそのプログラム
CN103731601A (zh) 图像处理装置以及图像处理方法
JP6210062B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP2006303961A (ja) 撮像装置
CN102263894A (zh) 拍摄装置
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
JP5367129B2 (ja) 撮像装置、制御装置及びそれらの制御方法
JP4748375B2 (ja) 撮像装置、画像再生装置及びそのプログラム
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP5125294B2 (ja) プログラム、画像処理装置、撮像装置および画像処理方法
CN102209199B (zh) 图像拍摄装置
JP2009152672A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP4157003B2 (ja) 画像処理装置
JP2010263270A (ja) 撮像装置
JP2007166539A (ja) 撮像装置、撮像方法、プログラムおよび記憶媒体
JP2006352227A (ja) 撮像装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140930

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140930

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.