具体实施方式
以下,参照附图来详细说明有关本发明所涉及的图像处理装置的实施例。
(实施例1)
本发明的实施例1所涉及的图像处理装置200在高速读出模式之时,在拍摄期间之外,拍摄高分辨率的图像,并利用该高分辨率的图像来对拍摄期间内所拍摄的低分辨率的图像进行超解像处理。因此,本发明的实施例1所涉及的图像处理装置200能够抑制高速读出模式 中的画质的降低。
首先利用图8,对本发明的实施例1所涉及的图像处理装置200的构成进行说明。图8是表示本发明的实施例1所涉及的图像处理装置200的构成的图。
图8所示的图像处理装置200例如是数字静态照相机所配备的系统LSI(large scale integration:大规模集成电路)。此图像处理装置200将拍摄模式信号220、拍摄准备信号223、实施拍摄信号224作为输入,并将输出图像信号229输出。而且,图像处理装置200包括:控制部210、摄像部202、超解像部203、拍摄期间取得部205、拍摄模式取得部206。
拍摄模式信号220是根据用户的操作的信号,并且是表示通过用户的操作而指定了一般读出模式,还是指定了高速读出模式的信号。具体而言,在通过用户的操作指定了以每秒8张等进行拍摄的高速连拍模式、或者能够以每秒120帧等进行拍摄的高帧频运动图像拍摄模式的情况下,拍摄模式信号220表示高速读出模式。而且,在通过用户的操作指定了不进行连拍的一般拍摄模式、以每秒2张等进行拍摄的低速连拍模式、或者以每秒30帧等进行拍摄的一般的运动图像拍摄模式的情况下,拍摄模式信号220表示一般读出模式。
实施拍摄信号224是根据用户的操作的信号,并且是表示拍摄期间的信号。例如,在用户按下快门按钮的期间,通过实施拍摄信号224成为激活的状态,来表示拍摄期间。
拍摄准备信号223是根据用户的操作的信号,并且是表示拍摄准备期间的信号。在此所谓的拍摄准备期间是拍摄期间的紧前面的期间。具体而言,处于用户半按下快门按钮的状态的期间,通过拍摄准备信号223成为激活的状态,来表示拍摄准备期间。
拍摄模式取得部206取得与用户的操作相对应的拍摄模式。具体而言,通过取得拍摄模式信号220来取得拍摄模式。并且,拍摄模式取得部206将取得的拍摄模式信号220输出到控制部210。
拍摄期间取得部205取得与用户的操作相对应的拍摄期间。具体而言,通过取得拍摄准备信号223和实施拍摄信号224来取得拍摄期间。换言之,拍摄期间取得部205检测来自用户的拍摄开始指示及拍摄结束指示。并且,拍摄期间取得部205将取得的拍摄准备信号223和实施拍摄信号224输出到控制部210。进而,拍摄期间取得部205利用实施拍摄信号224,生成表示拍摄结束期间的拍摄结束信号227,并将生成的拍摄结束信号227输出到控制部210。在此,所谓拍摄结束期间是拍摄期间刚结束后的、具有规定的时间宽度的期间。
而且,拍摄期间取得部205也可以在拍摄之前,预先取得由用户设定的拍摄期间。例如,在用户按下数字静态照相机的快门按钮之后,于规定的时间后开始拍摄、即在所谓的定时拍摄等情况下,拍摄期间取得部205根据该快门按钮被按下的时刻来取得被决定的拍摄准备信号223和实施拍摄信号224。而且,在此情况下,拍摄期间取得部205也可以取得表示实施拍摄信号224等的拍摄的开始时刻的信号,并利用该信号生成拍摄准备信号223。
摄像部202将光学像转换成电信号,并将转换后的电信号作为摄像图像信号222输出。具体而言,摄像部202包括被配置成矩阵形状的、将光转换成电信号的进行光电转换的多个像素。此摄像部202具有全部像素读出模式和间拔像素读出模式。
在全部像素读出模式时,摄像部202将与构成图像帧(以下仅记述为“帧”)的全部像素对应的电信号、即将通过多个像素之中的所有的像素进行光电转换后的电信号作为摄像图像信号222输出。而且,在间拔像素读出模式时,摄像部202将与比构成帧的全部像素少的被间拔后的像素对应的电信号、即将通过多个像素之中的一部分像素进行光电转换后的电信号作为摄像图像信号222输出。
图9A-图9C是表示在间拔像素读出模式时被读出的像素的一个例子的图。而且,在图9A-图9C中,使用斜线表示的像素250是在间拔像素读出模式时被读出的像素,像素251是在间拔像素读出模式 时没有被读出的像素。如图9A-图9C所示,间拔的形状包括正方格子状(图9A)、斜格子状(图9B)、及线状(图9C)等。另外,也可以间拔成在此之外的任意的形状。并且,以帧为单位的间拔方法也可以不相同。
图10A和图10B表示在间拔像素读出模式时,被读出的像素值的计算方法的图。如图10A和图10B所示,相当于读出像素位置252的像素值可以是该像素位置252的像素值数据本身(图10A),也可以是通过对该像素位置252的周围的多个像素位置253的像素值数据进行电荷的混合等而加在一起的像素值数据(图10B)。
再者,在全部像素读出模式时,摄像部202不需要将所具备的由所有的像素进行了光电转换的电信号输出。例如,在长宽比为4∶3的摄像元件中,存在输出剪下图像的上下后的长宽比为16∶9的区域的情况,或者存在通过电子变焦来剪切一部分区域的情况等。而且,也可以根据其他任意的理由,摄像部202输出在全部像素读出模式时被一部分像素转换了的电信号。进而,摄像部202也可以在全部像素读出模式时,读出比间拔读出模式时,间拔量少的被间拔后的像素。
即,间拔像素读出模式是摄像部202输出由在摄像部202所具备的多个像素之中的、第一像素数的像素转换的电信号的模式。而且,全部像素读出模式是摄像部202输出由在摄像部202所具备的多个像素之中的、比第一像素数多的第二像素数的像素转换的电信号的模式。
并且,摄像部202在全部像素读出模式时,以低帧频输出图像;在间拔像素读出模式时,以比在全部像素读出模式时高的帧频输出图像。
超解像部203在摄像部202以全部像素读出模式工作的情况下,将摄像图像信号222照原样作为输出图像信号229输出。而且,超解像部203在摄像部202以间拔像素读出模式工作的情况下,通过对被间拔像素读出的低分辨率的摄像图像信号222进行超解像处理,从而对低分辨率的摄像图像信号222进行高分辨率化,并将进行了高分辨 率化的图像作为输出图像信号229输出。在此超解像处理中,超解像部203利用在全部像素读出模式时由摄像部202输出的高分辨率的摄像图像信号222,对在间拔像素读出模式时由摄像部202输出的低分辨率的摄像图像信号222进行高分辨率化。
进而,超解像部203通过利用不同时刻的多个帧的摄像图像信号222进行运动检测,来判断在当前的帧中是否存在运动。具体而言,超解像部203判断当前的帧的运动是否为规定值以上,在当前的帧的运动为规定值以上的情况下,判断为当前的帧中存在运动,在当前的帧的运动为规定值以下的情况下,判断为当前的帧中无运动。再者,以下在运动为规定值以下的情况下(无运动的情况及运动少的情况)记述为“无运动”。并且,超解像部203将表示当前的帧中是否存在运动的运动判断信号226输出到控制部210。
控制部210根据拍摄模式信号220、拍摄准备信号223、实施拍摄信号224、拍摄结束信号227、以及运动判断信号226,生成读出方式指示信号221,并将生成的读出方式指示信号221输出到摄像部202及超解像部203。
具体而言,控制部210在一般读出模式时,使摄像部202以全部像素读出模式工作。并且,控制部210在高速读出模式时,且在拍摄期间中,使摄像部202以间拔像素读出模式工作。而且,控制部210在高速读出模式时,且在拍摄期间之外,使摄像部202以全部像素读出模式工作。并且,控制部210在高速读出模式时,且在拍摄期间中,在当前的帧中无运动的情况下,使摄像部202以全部像素读出模式工作。
此控制部210包括判断部204和读出方式切换部201。
判断部204在由实施拍摄信号224表示处于拍摄期间之外,且由拍摄准备信号223表示处于拍摄准备期间的情况下,输出表示全部像素读出的全部像素读出指示信号225。而且,判断部204在由实施拍摄信号224表示处于拍摄期间之外,且由拍摄结束信号227表示处于 拍摄结束期间的情况下,输出表示全部像素读出的全部像素读出指示信号225。进而,判断部204在由实施拍摄信号224表示处于拍摄期间中,且由运动判断信号226表示在当前的帧中无运动的情况下,输出表示全部像素读出的全部像素读出指示信号225。在此以外的情况,即在由实施拍摄信号224表示处于拍摄期间中,且由运动判断信号226表示在当前的帧中存在运动的情况下,输出表示间拔读出的全部像素读出指示信号225。再者,判断部204也可以不将运动判断信号226作为输入,不对按照运动的全部像素读出指示信号225进行控制。进而,判断部204也可以定期输出指示全部像素读出的全部像素读出指示信号225。
读出方式切换部201在由拍摄模式信号220表示高速读出模式,且由全部像素读出指示信号225表示全部像素读出的情况下,输出表示全部像素读出模式的读出方式指示信号221。在此以外的情况,即由拍摄模式信号220表示一般读出模式的情况,及由拍摄模式信号220表示高速读出模式、且由全部像素读出指示信号225表示间拔像素读出的情况下,输出表示间拔像素读出模式的读出方式指示信号221。再者,即使在没有由拍摄模式信号220表示高速读出模式的情况下,读出方式切换部201也可以以例如用于提高拍摄感光度的摄像像素混合等其他目的,指示间拔像素读出。
其次,利用图11对高速读出模式时的、控制部210及摄像部202的具体工作的例子进行说明。图11是表示高速读出模式时的控制部210及摄像部202的工作的例子的图。
在图11中,拍摄准备信号223是在拍摄准备期间的情况下的值为1,在此以外的情况下的值为0的信号。实施拍摄信号224是在拍摄期间中的情况下的值为1,在此以外的情况下的值为0的信号。拍摄结束信号227是在拍摄结束期间的情况下的值为1,在此以外的情况下的值为0的信号。全部像素读出指示信号225是在表示全部像素读出的情况下的值为1,在表示间拔像素读出的情况下的值为0的信号。读出 方式指示信号221是在表示全部像素读出模式的情况下的值为1,表示间拔像素读出模式的情况下的值为0的信号。拍摄模式信号220是在表示高速读出模式的情况下的值为1,在表示一般读出模式的情况下的值为0的信号。运动判断信号226是在当前的帧中无运动的情况下的值为1,在当前的帧中存在运动的情况下的值为0的信号。再者,所述任一信号都可以是其意思和实际的值之间的关联性为上述以外的情况。
并且,因为在拍摄模式信号220的值取0的情况下的工作,与上述的图像处理装置100相同,所以省略对其的说明。
以下,对在拍摄模式信号220的值取1的情况下、即高速读出模式中的图像处理装置200的工作进行说明。
首先,在拍摄开始之前,拍摄准备信号223的值变成1,表示是拍摄准备期间。此时,判断部204输出表示值为1的全部像素读出指示信号225。因此,读出方式切换部201输出表示值为1的读出方式指示信号221。因此,摄像部202以全部像素读出模式来工作。即,摄像部202花费时间Tf将全部像素读出的帧作为摄像图像信号222输出。
其次,在通过实施拍摄信号224的值从0变成1,从而表示拍摄开始了的情况下,判断部204输出表示值为0的全部像素读出指示信号225。因此,读出方式切换部201输出表示值为0的读出方式指示信号221。因此,摄像部202以间拔读出模式工作。即,摄像部202花费时间Tp将间拔像素读出的帧作为摄像图像信号222输出。
在此,因为从一帧的数据量中减少对像素进行间拔的量,所以传输时间Tp比Tf短。因此,间拔像素读出模式时能够比全部像素读出模式时早开始下一个帧的传输。这样,拍摄期间中通过使摄像部202以间拔像素读出模式工作,能够在拍摄期间中高速地拍摄图像。
并且,在检测出拍摄期间中摄像图像信号222所包含的帧中无运动的情况下,由超解像部203输出值为1的运动判断信号226。此时, 判断部204输出表示值为1的全部像素读出指示信号225。因此,读出方式切换部201输出表示值为1的读出方式指示信号221。因此,摄像部202以全部像素读出模式来工作。即,摄像部202花费时间Tf将全部像素读出的帧作为摄像图像信号222输出。此时,因为是Tf>Tp,所以在该全部像素读出期间中帧频降低。但是,由于帧频降低的图像是无运动的图像,所以能够抑制所谓拍摄图像的运动不平稳之类的主观性的画质劣化。另一方面,通过在拍摄期间中进行全部像素读出,能够得到更加高清晰的图像。因此,能够提高拍摄图像的画质。
其次,若拍摄期间结束,则拍摄准备信号223的值变为0,并且拍摄结束信号227的值变为1,以显示是拍摄结束期间。此时,判断部204输出表示值为1的全部像素读出指示信号225。因此,读出方式切换部201输出表示值为1的读出方式指示信号221。因而,摄像部202以全部像素读出模式来工作。即,摄像部202花费时间Tf将全部像素读出的帧作为摄像图像信号222输出。
其次,利用图12对有关超解像部203的内部构成及工作进行说明。图12是表示超解像部203的构成的框图。
如图12所示,超解像部203包括:帧存储器244,将摄像图像信号222作为输入,并输出记忆摄像图像信号231;运动检测部243,将摄像图像信号222和记忆摄像图像信号231作为输入,并输出运动信息信号232和运动判断信号226;超解像执行部242,将摄像图像信号222和记忆摄像图像信号231作为输入,并输出超解像图像信号233;信号切换部241,将读出方式指示信号221和摄像图像信号222作为超解像图像信号233,并将输出图像信号229输出。
帧存储器244暂时记忆摄像图像信号222所包含的被全部像素读出或者被间拔像素读出的帧,并将记忆的帧作为记忆摄像图像信号231输出。
运动检测部243对摄像图像信号222所包含的当前的帧和记忆摄像图像信号231所包含的过去被记忆的帧之间的运动进行检测,并输 出表示当前的帧内的一个以上的物体的运动量的运动信息信号232和表示当前的帧中是否存在运动的运动判断信号226。有关运动检测的方法,也可以利用例如“デイジタル画像压縮の基礎(数字图像压缩的基础):安田浩、渡边裕/日经BP出版中心/1.3.2节”(非专利文献:1)所说明的运动检测法。再者,也可以利用在此之外的任意的运动检测法。例如,运动检测部243在由低分辨率的摄像图像信号222表示的图像的、在时间上位于当前的帧之前或之后的帧与当前的帧之间,进行运动补偿。具体而言,将帧分割为块单位并进行块匹配。
例如,运动信息信号232是在将帧分割为块单位并进行了块匹配的情况下的运动矢量信息。再者,检测运动的单位也可以不是块而是任意形状的区域。
同时,运动判断信号226例如是进行所述块匹配的情况下的被进行运动补偿了的块之间的各个像素值的差分绝对值之和,或者例如是进行所述块匹配的情况下的运动补偿中的运动矢量的大小。再者,运动判断信号226也可以是不进行运动补偿的、单纯是当前的帧和过去被记忆的帧的彼此相同位置的各个像素值的差分绝对值之和。而且,运动判断信号226及运动信息信号232也可以是根据上述以外的运动检测法导出的运动量的指标。
而且,运动判断信号226也可以包含表示运动量的多个信息。例如,运动判断信号226也可以同时包含上述差分绝对值之和与上述运动矢量的大小。在此情况下,判断部204在上述差分绝对值之和比预先决定的值小的情况下,或者在上述运动矢量的大小比预先决定的值小的情况下,或者上述两种情况都存在的情况下,判断当前的帧中无运动。
进而,超解像部203的构成也可以不包括帧存储器244及运动检测部243,超解像执行部242也可以不利用时间上不同的帧的信息而进行高分辨率化,在此情况下也可以不输出运动判断信号226。
超解像执行部242通过对被间拔像素读出的低分辨率的摄像图像 信号222进行超解像处理,从而对低分辨率的摄像图像信号222进行高分辨率化,并将进行了高分辨率化的图像作为超解像图像信号233输出。例如,超解像执行部242通过与专利文献2相同的方法进行超解像处理。具体而言,超解像执行部242利用在拍摄期间之外由摄像部202输出的高分辨率的摄像图像信号222,通过对在拍摄期间中由摄像部202输出的低分辨率的摄像图像信号222进行高分辨率化,从而生成超解像图像信号233。而且,超解像执行部242参考运动信息信号232,并利用通过运动检测部243进行了运动补偿的在时间上位于当前的图像帧之前或之后的图像帧与当前的图像帧,进行超解像处理。即,超解像执行部242利用多个帧的被运动补偿后的块,来进行以块为单位的超解像处理。
信号切换部241在由读出方式指示信号221表示全部像素读出模式的情况下,将摄像图像信号222作为输出图像信号229输出。并且,信号切换部241在由读出方式指示信号221表示间拔像素读出模式的情况下,将超解像图像信号233作为输出图像信号229输出。
图13及图14是表示根据超解像执行部242的超解像处理的一个例子的图。例如,如图13所示,在超解像执行部242生成超解像图像信号233所包含的某一时刻的帧的情况下,利用摄像图像信号222所包含的该时刻的帧和该帧后续的两张帧,即利用摄像图像信号222所包含的在时间上连续的三张帧,来生成超解像图像信号233所包含的该时刻的帧。而且,在该三张帧中不包含高分辨率的帧(被全部像素读出的帧)的情况下,进一步,利用附加了在拍摄期间之外拍摄的、在时间上最接近的高分辨率的帧后的四张帧,来生成超解像图像信号233所包含的该时刻的帧。
通过这样的利用高分辨率图像进行超解像处理,如图14所示,能够将不包含在原来的低分辨率的帧中的像素位置的信号以较好的精度复原。
再者,用于超解像处理的帧可以是两张或者四张以上,也可以包 含多张高分辨率图像。
而且,如图13所示,仅将对拍摄期间中的摄像图像信号222进行了超解像处理的帧的信号作为输出图像信号229输出,而拍摄期间之外的被拍摄的摄像图像信号222不作为输出图像信号229输出。在此,输出图像信号229例如是被数字静态照相机所具备的记忆部等记录的、或被输出到外部设备的信号。再者,也可以在此输出图像信号229进行规定的图像处理(对比度补正、色彩变换、及图像压缩等)之后,被记录在记忆部等、或被输出到外部设备。
而且,超解像部203还可以输出包含所有的帧的输出图像信号229,所述所有的帧中包含在拍摄期间之外被拍摄的帧。在此情况下,图像处理装置200对各个帧赋予表示该帧是拍摄期间中被拍摄的帧,还是拍摄期间之外被拍摄的帧的标识符信息之后,将其输出。因此,在数字静态照相机所具备的后段的处理部,或者在其他的装置中,能够容易地区别拍摄期间中被拍摄的图像与拍摄期间之外被拍摄的图像。
而且,也可以不立刻针对摄像图像信号222进行超解像处理,而是在赋予上述的标识符信息之后,输出到记忆部或者外部设备等。在此情况下,也可以通过外部设备进行利用该被输出的摄像图像信号222的超解像处理,还可以通过数字静态照相机内的处理部,在任意的定时(用户的指示、或者向外部设备输出时等)进行超解像处理。
图15是表示在帧中无运动、且在拍摄期间中拍摄了高分辨率图像的情况下的根据超解像执行部242的超解像处理的一个例子的图。
如图15所示,在拍摄期间中被拍摄的高分辨率的摄像图像信号222照原样作为输出图像信号229被输出。
其次,对图像处理装置200中的图像处理方法的流程进行说明。
图16是图像处理装置200中的图像处理方法的流程图。
首先,拍摄模式取得部206通过取得拍摄模式信号220,来取得拍摄模式(步骤S21)。
其次,控制部210参考拍摄模式信号220,从而判断当前的拍摄模式是否为高速读出模式(步骤S22)。在当前的拍摄模式为高速读出模式的情况下(步骤S22的“是”),拍摄期间取得部205取得依据用户的操作的摄像期间(步骤S26)。其次,控制部210参考拍摄准备信号223,从而判断是否为拍摄准备期间,即判断是否还没有指示拍摄的开始、且从现在起进入开始拍摄的状态(步骤S27)。
并且,控制部210参考拍摄结束信号227,从而判断是否为拍摄结束期间、即是否为结束正在拍摄的状态的瞬间(步骤S28)。
而且,控制部210参考运动判断信号226,从而判断当前的帧中是否存在运动(步骤S29)。
在不是拍摄准备期间及拍摄结束期间,且当前的帧中存在运动的情况下(步骤S27的“否”、且步骤S28的“否”、且步骤S29的“否”),控制部210对摄像部202指示间拔读出模式(步骤S30)。因此,摄像部202读出比构成一帧的全部像素少的被间拔的像素的信号,并将读出的信号作为摄像图像信号222输出(步骤S31)。其次,超解像部203利用被间拔像素读出的低分辨率的摄像图像信号222所包含的在时间上为连续的多个帧,例如通过进行如专利文献2的超解像处理,来生成高分辨率的帧,并将包含生成的帧的输出图像信号229输出(步骤S32)。
另一方面,在当前的拍摄模式是一般读出模式的情况(步骤S22的“否”)、拍摄准备期间的情况(步骤S27的“是”)、拍摄结束期间的情况(步骤S29的“是”)、当前的帧中无运动的情况(步骤S29的“是”)之中的任一种情况下,控制部210对摄像部202指示全部像素读出模式(步骤S23)。因此,摄像部202读出构成一帧的全部像素,并作为摄像图像信号222输出(步骤S24)。其次,超解像部203将此被全部像素读出的摄像图像信号222照原样作为输出图像信号229输出(步骤S25)。
如上所述,本发明的实施例1所涉及的图像处理装置200在高速 读出模式时,基本上通过使摄像部202以间拔像素读出模式工作的情况下,对被间拔像素读出的低分辨率的图像进行超解像处理,从而生成高分辨率的图像。因此,图像处理装置200能够实现高分辨率的高速连拍及高帧频运动图像拍摄。
进而,图像处理装置200在拍摄期间之外(拍摄期间前及拍摄期间后)使摄像部202以全部像素读出模式工作的情况下,利用被全部像素读出的高分辨率的帧,进行超解像处理。因此,能够提高利用超解像处理生成的高分辨率的图像的画质。而且,因为全部像素读出的帧是拍摄期间之外的帧,所以即使进行了全部像素读出,拍摄期间中的帧频也不会降低。因此,本发明的实施例1所涉及的图像处理装置200在高速读出模式中,能够照样维持高帧频并抑制画质的降低。
进而,图像处理装置200在拍摄期间中,在被摄对象的运动小的情况下,进行全部像素读出。在进行此全部像素读出的期间中帧频会降低,但是因为帧频降低的图像是无运动的图像,所以能够抑制所谓拍摄图像的运动不平稳之类的主观性的画质劣化。另一方面,通过拍摄期间中进行全部像素读出,能够得到更加高清晰的图像。并且,通过将此进行了全部像素读出的帧应用于其他的进行了间拔像素读出的帧的超解像处理,能够提高其他的帧的画质。
再者,上述说明中,虽然在拍摄准备期间、拍摄结束期间、拍摄期间中的无运动的期间的所有的期间中,摄像部202进行全部像素读出,但是也可以在任意的一个以上的期间中进行全部像素读出。
而且,在拍摄准备期间使摄像部202以全部像素读出模式工作的情况,与在拍摄结束期间使摄像部202以全部像素读出模式工作的情况相比,拍摄结束期间使摄像部202以全部像素读出模式工作的情况具有以下的优点。
首先,如图11所示,拍摄准备期间的最后被拍摄的高分辨率的帧和拍摄期间的最初被拍摄的低分辨率之间的时间间隔为Tf,拍摄结束期间的最初被拍摄的高分辨率的帧和拍摄期间的最后被拍摄的低分辨 率的帧之间的时间间隔为Tp。即,在拍摄结束期间被拍摄的帧与拍摄期间中被拍摄的低分辨率的帧之间的时间上的距离,比在拍摄准备期间被拍摄的帧与拍摄期间中被拍摄的低分辨率的帧之间的时间上的距离短。因而,图像处理装置200能够利用在时间上更接近的、即关联大的高分辨率的帧,来进行超解像处理。因此,图像处理装置200通过超解像处理,能够生成更高画质的图像。
进而,在拍摄准备期间拍摄高分辨率的图像的情况下,在拍摄准备期间被拍摄的图像的帧频会降低。例如,若设想在显示器等上显示由摄像部202拍摄的图像,并且用户边看该图像边进行拍摄的情况等,为了使用户在更恰当的时机进行拍摄,在拍摄准备期间被拍摄的图像最好是高帧频。另一方面,即使在拍摄结束期间帧频降低,也不会对用户的拍摄产生如此的不良影响。
进而,虽然在依据半按数字静态照相机的快门按钮等以往的功能,而能够生成拍摄准备信号223的情况下没有问题,但是在通过没有半按判断的按钮或者通过触摸屏等操作来开始拍摄的情况下,则为了确定拍摄准备期间,需要追加功能。另一方面,能够从拍摄期间容易地推导出拍摄结束期间。即,在许多摄影设备中,都能够容易地实现在拍摄结束期间切换到全部像素读出模式的控制。
同时,如上述说明所述,最好是在拍摄准备期间及拍摄结束期间的双方中,拍摄高分辨率的图像,并利用该高分辨率的图像进行超解像处理。例如,如图13所示,图像处理装置200对于在拍摄期间的前半部分拍摄的帧,能够利用在拍摄准备期间被拍摄的高分辨率的帧进行超解像处理;对于在拍摄期间的前半部分拍摄的帧,能够利用在拍摄结束期间被拍摄的高分辨率的帧进行超解像处理。即,图像处理装置200能够利用在时间上更接近的高分辨率的帧,来进行超解像处理。因此,图像处理装置200通过超解像处理,能够生成更高画质的图像。
并且,虽然在上述说明中,在拍摄准备期间被拍摄的高分辨率的帧是拍摄期间开始之前的紧前面(时间Tf之前)的帧,但是只要在拍 摄期间的开始之前,也可以拍摄紧前面的帧以外的高分辨率的帧。但是,若考虑与在拍摄期间被拍摄的帧的关联,则最好在更接近于拍摄期间的开始时刻的时刻,拍摄高分辨率的帧。
同样,虽然在上述说明中,在拍摄结束期间被拍摄的高分辨率的帧是拍摄期间刚结束后(时间Tp之后)的帧,但是只要在拍摄期间的结束之后,也可以拍摄刚结束之后以外的高分辨率的帧。但是,若考虑与在拍摄期间被拍摄的帧的关联,则最好在更接近于拍摄期间的结束时刻的时刻,拍摄高分辨率的帧。
(实施例2)
本发明的实施例2所涉及的图像处理装置300在上述实施例1所涉及的图像处理装置200的功能之外,还附加了按照是否进行显示器显示,而以间拔像素读出和全部像素读出对拍摄方法进行切换。而且,本发明的实施例2所涉及的图像处理装置300利用在时间上最接近的高分辨率的帧,进行超解像处理。
图17是表示本发明的实施例2所涉及的图像处理装置300的构成的框图。另外,对与图8同样的元件附加相同的标记,并省略与实施例1重复的说明。
图17所示的图像处理装置300在图8所示的图像处理装置200的构成之外,还包括显示器显示部307。并且,判断部304及超解像部303的构成与实施例1不同。
显示器显示部307将显示器有效信号327和输出图像信号229作为输入,来显示输出图像信号229的图像。具体而言,显示器显示部307在显示器有效信号327指示进行显示器显示的情况下,利用液晶显示器或者有机EL显示器(organic electroluminescence display:有机电致发光显示器)等显示设备,对输出图像信号229进行显示器显示。并且,显示器显示部307在显示器有效信号327指示不进行显示器显示的情况下,不进行输出图像信号229的图像的显示器显示。再者,在显示器有效信号327指示不进行显示器显示的情况下,显示 器显示部307也可以显示输出图像信号229以外的图像及信息,例如也可以显示ISO感光度、光圈的F值、以及快门速度等拍摄条件等。
显示器有效信号327是根据用户的操作的信号,并且是表示是否进行显示器显示的信号。具体而言,在由用户设定显示器显示模式的情况下,例如,在用户边看显示器所显示的图像边进行拍摄的情况下,显示器有效信号327表示进行显示器显示。而且,在由用户设定显示器不显示模式的情况下,例如,在用户通过光学取景器边看被摄对象边进行拍摄的情况下,显示器有效信号327表示不进行显示器显示。
判断部304将实施拍摄信号224、拍摄准备信号223、运动判断信号226、以及显示器有效信号327作为输入,并输出全部像素读出指示信号225。即,判断部304在实施例1的功能之外,还附加按照显示器有效信号327,输出全部像素读出指示信号225的功能。具体而言,判断部304在显示器进行显示的情况下,即使在拍摄准备期间的情况下、或者在拍摄期间中被摄对象无运动的情况下,也不输出表示全部像素读出的全部像素读出指示信号225。
即,判断部304在由显示器有效信号327表示不进行显示器显示、且由实施拍摄信号224表示不是拍摄期间、且由拍摄准备信号223表示处于拍摄准备期间的情况下,输出表示全部像素读出的全部像素读出指示信号225。而且,判断部304在由实施拍摄信号224表示处于拍摄结束期间的情况下,输出表示全部像素读出的全部像素读出指示信号225。进而,判断部304在由显示器有效信号327表示不进行显示器显示、且由运动判断信号226表示在当前的帧中无运动的情况下,输出表示全部像素读出的全部像素读出指示信号225。
并且,判断部304于在此以外的情况下,即在由显示器有效信号327表示进行显示器显示、且由实施拍摄信号224表示不是拍摄期间、且由拍摄准备信号223表示处于拍摄准备期间的情况下,和在由实施拍摄信号224表示处于拍摄期间、且由运动判断信号226表示当前的帧中序在运动的情况下,以及由实施拍摄信号224表示处于拍摄期间、 且由显示器有效信号237表示进行显示器显示、且由运动判断信号226表示当前的帧中无运动的情况下,输出表示间拔像素读出的全部像素读出指示信号225。
再者,判断部304也可以不将运动判断信号226作为输入,不对按照运动的全部像素读出指示信号225进行控制。进而,判断部304也可以定期地输出表示全部像素读出的全部像素读出指示信号225。
其次,对图像处理装置300中的图像处理方法的流程进行说明。
图18是图像处理装置300中的图像处理方法的流程图。并且,有关与图16所示的实施例1所涉及的图像处理装置200中的图像处理方法同样的处理,省略对其的说明。
图像处理装置300中的图像处理方法相对于实施例1所涉及的图像处理装置200中的图像处理方法,在高速读出模式时(步骤S22的“是”)的、拍摄准备期间(步骤S27的“是”)以及在当前的帧中无运动的情况下(步骤S29的“是”)的工作不同。
具体而言,在拍摄准备期间(步骤S27的“是”)以及在当前的帧中无运动的情况下(步骤S29的“是”),判断部304参考显示器有效信号327,从而判断显示器显示部307是否正在显示器上显示输出图像信号229的图像(步骤S41)。
在显示器显示部307正在显示器上显示输出图像信号229的图像的情况下(步骤S41的“是”),控制部210对摄像部202指示间拔像素读出模式(步骤S30)。因此,摄像部202读出比构成一帧的全部像素少的被间拔后的像素的信号,并将读出的信号作为拍摄图像信号222输出(步骤S31)。其次,超解像部203利用被间拔像素读出的低分辨率的摄像图像信号222所包含的在时间上为连续的多个帧,例如通过进行如专利文献2的超解像处理而生成高分辨率的帧,并输出包含生成的高分辨率的帧的输出图像信号229(步骤S32)。
另一方面,在显示器显示部307没有正在显示器上显示输出图像信号229的图像的情况下(步骤S41的“否”),控制部210对摄像部 202指示全部像素读出模式(步骤S23)。因此,摄像部202读出构成一帧的全部像素,并作为摄像图像信号222输出(步骤S24)。其次,超解像部203将被全部像素读出的摄像图像信号222照原样作为输出图像信号229输出(步骤S25)。
其次,对超解像部303的构成及工作进行说明。
图19是表示超解像部303的构成的框图。另外,对与图12同样的元件附加相同的标记,并省略重复的说明。
图19所示的超解像部303在图12所示的超解像部203的构成之外,还包括时间差分判断部345。而且,帧存储器344的构成不同。
帧存储器344暂时记忆摄像图像信号222所包含的全部像素或者间拔像素读出的帧。并且,帧存储器344输出帧信息信号334和记忆摄像图像信号231。
帧信息信号334包含帧存储器344所记忆的各个帧的时刻,和表示该各个帧是被全部像素读出的帧(以下的全部像素读出帧)、还是被间拔像素读出的帧(以下的间拔像素读出帧)的信息。记忆摄像图像信号231包含帧存储器344所记忆的间拔像素读出帧,以及由帧选择信号335选择的全部像素读出帧。
时间差分判断部345根据帧信息信号334,来判断既是全部像素读出帧、且与当前的帧的时刻最接近的帧。而且,时间差分判断部345输出帧选择信号335,该帧选择信号335指定既是全部像素读出帧、且与当前的帧的时刻最接近的帧。
运动检测部243对摄像图像信号222所包含的当前的帧和记忆摄像图像信号231所包含的过去被记忆的帧之间的运动进行检测,并输出表示当前的帧内的一个以上的物体的运动量的运动信息信号232和表示当前的帧中是否存在运动的运动判断信号226。
图20是表示在由超解像执行部242进行的超解像处理中所使用的帧的例子的图。在此图20表示,将全部像素读出帧的摄像间隔设为Tf,将间拔像素读出帧的摄像间隔设为Tp,Tf=2×Tp的情况下的例 子。
在对图20所示的帧403进行高分辨率化的情况下,与帧403在时间上最接近的全部像素读出帧是帧402。因而,时间差分判断部345输出指定帧402的帧选择信号335。因此,超解像执行部242利用帧402进行帧403的高分辨率化。再者,超解像执行部242也可以进一步使用帧402以外的帧,例如也可以进一步使用虽然不是全部像素读出帧,但是为在时间上最接近的间拔读出帧的帧404。
而且,在对帧405进行高分辨率化的情况下,与帧405在时间上最接近的全部像素读出帧是帧408。因而,时间差分判断部345输出指定帧408的帧选择信号335。因此,超解像执行部242利用帧408进行帧405的高分辨率化。再者,超解像执行部242也可以进一步使用帧408以外的帧,例如也可以进一步使用虽然不是全部像素读出帧,但是为在时间上最接近的间拔像素读出帧的帧404及帧406之中的至少一方。
而且,在对帧409进行高分辨率化的情况下,与帧409在时间上最接近的全部像素读出帧是帧408和帧411。因而,时间差分判断部345输出指定帧408及帧411的任一个的帧选择信号335。因此,超解像执行部242利用由帧选择信号335指定的帧408或帧411,进行帧409的高分辨率化。再者,在图20的例子中,在帧409的高分辨率化中利用帧408。并且,超解像执行部242也可以进一步使用帧408以外的帧,例如也可以进一步使用虽然不是全部像素读出帧,但是为在时间上最接近的间拔像素读出帧的帧410。
在此,一般而言,在时间上接近的帧彼此之间的帧间的关联性更大。因而,超解像执行部242通过将在时间上更接近的全部像素读出帧用于高分辨率化,从而能够利用全部像素读出帧的信息,以良好的精度来推算由于当前的帧的间拔像素读出而失去的图像信息。因此,本发明的实施例2所涉及的图像处理装置300能够通过超解像处理,得到更高画质的图像。
再者,实施例1及2所涉及的超解像执行部242也可以利用如专利文献2的、被称为再构成型超解像的技术,或者也可以将全部像素读出帧作为学习数据,利用如特开2005-253000号公报(专利文献:3)中所示的被称为学习型超解像的技术。进而超解像执行部242也可以代替进行高分辨率化,同样利用在时间上接近的帧,例如也可以进行如特许第3458741号公报(专利文献:4)所示的进行动态范围扩大的图像处理。在此情况下,只要将上述说明中的间拔像素读出帧与曝光时间短的帧进行置换,将全部像素读出帧与曝光时间长的帧进行置换即可。
综上所述,本发明的实施例2所涉及的图像处理装置300与实施例1所涉及的图像处理装置200同样,在高速读出模式中能够照样维持高帧频并抑制画质的降低。
进而,图像处理装置300在显示器显示的情况下,即使是拍摄准备状态,也不进行全部像素读出。因此,能够在拍摄开始前的显示器显示中帧频不降低而顺利地开始拍摄。
进而,图像处理装置300利用当前的帧中的在时间上最接近的全部像素读出的帧,进行超解像处理。因此,图像处理装置300通过超解像处理,能够得到更高画质的图像。
再者,上述说明中,在拍摄准备期间的情况下,和在拍摄期间中图像中无运动的情况下,进一步,按照上述显示器显示的有无来进行控制,而仅在拍摄准备期间的情况,和在拍摄期间中图像中无运动的情况的任一方的情况下,也可以按照上述显示器显示的有无来进行控制。而且,在摄影结束期间,也可以按照上述显示器显示的有无进行的控制。
(实施例3)
在本发明的实施例3中,通过将为了实现上述各个实施例中所示的图像处理装置200或300的构成的程序记录在软磁盘等记忆介质中,对在独立的计算机系统中执行上述各个实施例所示的处理的例子进行 说明。
图21A-图21C是在利用被记录在软磁盘等记录介质中的程序,并通过计算机系统实施上述各个实施例的图像处理装置的情况下的说明图。
图21A是表示作为记录介质主体的软磁盘的物理格式化的例子的图。图21B是从正面所看到的软磁盘450的外观、软磁盘450的剖面结构,以及表示磁盘451的图。
软磁盘450包括外壳452、在外壳452内被内置的磁盘451。在磁盘451的表面,从外周向内侧周长形成多个同心圆状的磁道453。各个磁道453按夹角方向被划分为16个扇区454。上述程序被记录在磁盘451上的被划分的区域中。
并且,图21C是表示在软磁盘450上进行上述程序的记录,以及从软磁盘450读出上述程序及进行再生的计算机系统460的构成的图。在将实现图像处理装置200或300的上述程序记录在软磁盘450的情况下,计算机系统460通过软磁盘驱动器461将上述程序写入软磁盘。
而且,在通过执行软磁盘450内的程序,从而在计算机系统460中构筑图像处理装置200或300的功能的情况下,由软磁盘驱动器461从软磁盘450读出程序,并传输给计算机系统460。计算机系统460通过执行被传输的程序,来实现上述的图像处理装置200或300的功能。
再者,在上述说明中,虽然作为记录介质以软磁盘450为例进行了说明,但是也可以利用光盘进行同样的记录。而且,记录介质并不仅限于此,IC卡、盒式ROM等、只要能够记录程序就同样地能够实施。并且,不仅限于能够在计算机系统460上装卸的记录介质,计算机系统460也可以执行记录在计算机系统460所具备的HDD(硬盘驱动器)、非易失性存储器、RAM或者ROM中的程序。进而,计算机系统460还可以执行通过有线或无线的通信网络取得的程序。
(实施例4)
在本发明的实施例4中,对具备上述实施例1及2所涉及的图像处理装置200及300的数字照相机进行说明。
图22A-图22C是表示本发明的实施例4所涉及的数字照相机500的外观图。图22A-图22C分别是从顶面、正面及背面所看到的数字照相机500的图。
例如,数字照相机500是具有拍摄静止图像的功能,和拍摄运动图像的功能的数字静态照相机。此数字照相机500包括:快门按钮501、镜头502、显示器屏幕503、取景器504、拍摄模式切换转盘505、连拍模式切换按钮506、显示器显示按钮507。
镜头502将光聚集在摄像部202。经过镜头502的光通过摄像部202被进行光电转换,并作为摄像图像信号222被输出。在此摄像部202例如是上述各个实施例所示的摄像部202。
在用户半按快门按钮501的情况下,通过操作镜头502来对焦。而且,在用户半按快门按钮501的情况下,生成表示是拍摄准备期间的拍摄准备信号223。若利用图11的例子来说明,则快门按钮501在被半按下的情况下,拍摄准备信号223的值被设定为1。
若用户旋转拍摄模式切换转盘505,则能够切换拍摄模式。在此所谓拍摄模式例如是指运动图像拍摄模式、静止图像拍摄模式、图像再生模式等。
每当用户按下连拍模式切换按钮506之时,则拍摄模式被切换。例如,在静止图像拍摄模式时,每当按下连拍模式切换按钮506时,则拍摄模式按照一般拍摄模式、高速连拍模式、以及低速连拍模式的顺序被切换。在此所谓一般拍摄模式是指在用户按下快门按钮501之时,拍摄一张静止图像的模式。而且,高速连拍模式是指在用户按下快门按钮501之间,以每秒8张等来拍摄静止图像的模式。并且,低速连拍模式是指在用户按下快门按钮501之间,以每秒两张等来拍摄静止图像的模式。
例如,在通过连拍模式切换按钮506设定了高速连拍模式的情况 下,生成表示高速读出模式的拍摄模式信号220。而且,在设定了一般拍摄模式及低速连拍模式的情况下,生成表示一般读出模式的拍摄模式信号220。
而且,在运动图像拍摄模式时,每当用户按下连拍模式切换按钮506之时,被切换为高帧频运动图像拍摄模式、和低帧频运动图像拍摄模式。例如,高帧频运动图像拍摄模式是指在快门按钮501被按下之间,以每秒120帧等来拍摄运动图像的模式。并且,低帧频运动图像拍摄模式是指以每秒30帧等来拍摄运动图像的模式。
例如,在通过连拍模式切换按钮506设定了高帧频运动图像拍摄模式的情况下,生成表示高速读出模式的拍摄模式信号220。而且,在设定了低帧频运动图像拍摄模式的情况下,生成表示一般读出模式的拍摄模式信号220。
例如,显示器屏幕503是在实施例2中进行了说明的显示器显示部307,利用液晶显示器或者有机EL显示器等显示设备,对输出图像信号229进行显示器显示。
每当用户按下显示器显示按钮507之时,在实施例2中进行了说明的显示器有效信号327的值在“进行显示器显示”和“不进行显示器显示”之间被切换。并且,在表示不进行显示器显示的显示器有效信号327被输出的情况下,显示器屏幕503对输出图像信号229不进行显示器显示。在此情况下,用户利用取景器504来确认拍摄对象。而且,在表示进行显示器显示的显示器有效信号327被输出的情况下,显示器屏幕503对输出图像信号229进行显示器显示。
取景器504是对光学的像不进行光电转换等就照原样放映的光学取景器。
再者,拍摄模式的转换方法及各个拍摄模式中的拍摄操作方法也可以为上述以外的方法。例如,作为在运动图像模式及连拍模式中的拍摄操作方法,也可以通过一次按下快门按钮501,来开始运动图像拍摄或者连拍,并通过再次按下快门按钮501,来结束运动图像拍摄 或者连拍。并且,该操作也可以利用快门按钮501以外的按钮来进行。而且,在开始运动图像拍摄或者连拍的操作时,即使在利用快门按钮501以外的按钮的情况下,也和快门按钮501同样,通过检测半按而能够生成拍摄准备信号223。
并且,本发明所涉及的图像处理装置200及300也可以用于数字摄像机。
(其他变形例)
另外,虽然根据上述实施例对本发明进行了说明,但是,本发明当然不仅限于上述实施例。如下的情况也包含在本发明中。
(1)具体而言,上述各个装置也可以是由微处理器、ROM、RAM、硬盘单元、显示单元、键盘、以及滑鼠等构成的计算机系统。在所述RAM或硬盘单元中记忆有计算机程序。通过所述微处理器按照所述计算机程序工作,使得各个装置完成其功能。在此,计算机程序为了完成规定的功能,表示针对计算机的指令的指令码为被进行多个组合而构成的。
(2)构成上述各个装置的构成元件的一部分或全部也可以由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是在一个芯片上集积多个构成部而制造的超级多功能LSI,具体而言,是包含微处理器、ROM、以及RAM等而构成的计算机系统。在所述RAM中记忆有计算机程序。通过所述微处理器按照所述计算机程序来工作,使得系统LSI完成其功能。
(3)构成上述各个装置的构成元件的一部分或全部也可以由能够在各个装置上装卸的IC(Integrated Circuit:集成电路)卡或者单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、以及RAM等构成的计算机系统。所述IC卡或所述模块也可以包含上述超级多功能LSI。通过微处理器按照计算机程序工作,使得所述IC卡或所述模块完成其功能。此IC卡或此模块也可以具有抗干扰性。
(4)本发明也可以作为如上所述的方法。并且,也可以是通过计 算机来实现这些方法的计算机程序,还可以是由所述计算机程序形成的数字信号。
而且,本发明也可以将所述计算机程序或所述数字信号记录在计算机能够读取的记录介质上,例如:软磁盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc:蓝光光盘)、以及半导体存储器等。而且,也可以是记录在这些记录介质上的所述数字信号。
并且,本发明也可以将所述计算机程序或所述数字信号,经由以电气通讯线路、无线或有线通讯线路、互联网为代表的网络、以及数据广播等进行传输。
而且,本发明也可以是具备微处理器和存储器的计算机系统,所述存储器记忆所述计算机程序,所述微处理器按照所述计算机程序进行工作。
并且,通过将所述程序或所述数字信号记录在所述记录介质上并进行转送,或者通过将所述程序或所述数字信号经由所述网络等进行转送,也可以通过其他的独立的计算机系统来实施。
(5)也可以分别将上述实施例及上述变形例进行组合。
本发明适用于图像处理装置、图像处理方法及程序,尤其适用于具备高速连拍及高帧频拍摄等高速地读出图像模式的数字静态照相机及数字摄像机等。