CN102017603B

CN102017603B - 摄像装置

Info

Publication number: CN102017603B
Application number: CN2009801139771A
Authority: CN
Inventors: 高桥淳
Original assignee: 松下电器产业株式会社
Current assignee: Nuvoton Technology Corp Japan
Priority date: 2008-04-28
Filing date: 2009-04-27
Publication date: 2013-10-09
Anticipated expiration: 2029-04-27
Also published as: US8373772B2; WO2009133693A1; CN102017603A; JP2009290860A; US20110032387A1

Abstract

本发明提供一种摄像装置，该摄像装置能够针对从一台摄像机输入的影像，同时拍摄不同区域的影像，并且，使画质降低的情况也较少。本发明的摄像装置为连接于存储器(7)而被使用的摄像装置，并且，包括：摄像元件(3)，能够读出任意的区域；主图像存储部(15)，读出主图像区域的图像，并作为主图像存储到存储器(7)，所述主图像区域的图像是指成像于所述摄像元件(3)上的整体图像；副图像存储部(16)，从所述摄像元件(3)读出注视区域的图像，并作为副图像存储到所述存储器(7)，所述注视区域为应注视的区域；编码器(8)，对主图像以及副图像进行压缩，所述主图像为由所述主图像存储部(15)存储到所述存储器(7)的图像，所述副图像为由所述副图像存储部(16)存储到所述存储器(7)的图像；以及记录部(9)，将由编码器(8)进行了压缩的主图像以及副图像记录到记录介质。

Description

摄像装置

技术领域

本发明涉及一种摄像装置，尤其涉及利用高速摄像元件或高清晰摄像元件，并根据一个输入图像能够同时拍摄多个影像的摄像装置。

背景技术

通过透镜将被摄物成像于摄像元件上，并对通过光电变换而取得的图像数据执行各种信号处理，从而将被摄物的影像显示在液晶显示器等，并且，记录到记录介质的数码相机和数码摄像机等摄像装置被实际应用，并逐渐被广泛普及。通常拍摄者控制摄像机的方向或变焦距功能，如拍摄小孩子正在玩耍的场面等以单独的拍摄目标来决定被摄物的构图并进行拍摄。此外，在监视摄像机等被固定的摄像装置中，也能够通过远程操作控制摄像机的方向或变焦距功能，或者，通过图像处理确定可疑人物或发生异常的地方且自动地控制摄像机角度等以单独的拍摄目标来决定被摄物的构图。

作为应用技术，提出了能够由一台摄像机处理多个拍摄目标的摄像装置(例如专利文献1)。该技术的具体内容是，首先，针对正在使用摄像机拍摄的图像，根据预先设定的条件，选定包含有成为注视对象的被摄物的多个注视区域，并且，按照每个对应于图像的重要度的注视区域设定重要度。接着，将这些多个注视区域合并在与重要度相对应的合并注视区域，并根据检测摄像机的状态的传感器的测定值控制摄像机，以使合并注视区域能够容纳在构图内。

此外，作为其他的应用技术，也提出了能够时常确认整个监视区域，并且，能够详细地视认注视区域的监视技术(例如专利文献2)。该技术的具体内容是，将正在使用摄像机拍摄的摄像图像，暂时存储在第一缓冲器，通过将监视区域和注视区域分别变换大小后从第一缓冲器再存储到第二缓冲器，从而将被再存储到第二缓冲器的监视区域和注视区域作为记录对象的图像来处理。

[专利文献1]日本国特开2007-134845号公报

[专利文献2]日本国特开2006-129152号公报

然而，所述以往的摄像装置的技术存在以下课题，即若要按照重要度决定同时满足多个拍摄目标的构图，就不能充分满足各个拍摄目标。若举个具体例子，如在小孩子的表演会上，既想拍摄舞台整体的样子，又想以特写拍摄小孩子的样子，对于这样的相反的需求不得不放弃一方。此外，在其他的具体例子中，例如监视摄像机，若在脱离拍摄区域内的地方检测出异常时，则不得不对是异常发生时的整体像为主还是注视个别的异常发生处这两者进行折中考虑。

此外，在所述第二个以往的摄像装置中出现以下问题，即需要从暂时存储在第一缓冲器的摄像图像中剪切出监视区域和注视区域，并且，进行大小变换处理，因此，会导致画质的劣化，并会使存储器存储次数以及使用存储容量增加。

发明内容

为了解决所述以往的课题，本发明的目的在于提供一种摄像装置，该摄像装置能够针对从一台摄像机输入的影像，同时拍摄不同区域的影像，并且，使画质降低的情况也较少。

为了实现上述目的，本发明涉及的摄像装置为连接于存储器而被使用的摄像装置，其中包括：摄像元件，能够读出任意的区域；主图像存储单元，读出主图像区域的图像，并作为主图像存储到所述存储器，所述主图像区域的图像是指成像于所述摄像元件上的整体图像；副图像存储单元，从所述摄像元件读出注视区域的图像，并作为副图像存储到所述存储器，所述注视区域为应注视的区域；编码器单元，对主图像以及副图像进行压缩，所述主图像为由所述主图像存储单元存储到所述存储器的图像，所述副图像为由所述副图像存储单元存储到所述存储器的图像；以及记录单元，将由所述编码器单元进行了压缩的主图像以及副图像记录到记录介质。

根据上述构成，在主图像区域和注视区域不同的情况下，也能够同时记录主图像和副图像。此外，与通过从存储在存储器的图像剪切出注视区域以及进行大小变换，从而生成副图像的情况相比较，由于存储到存储器之前从注视区域的图像生成副图像，因此，能够降低画质的劣化。

并且，所述摄像元件为能够以比动态图像帧周期更快的速度进行拍摄的摄像元件，所述主图像存储单元和所述副图像存储单元，从所述摄像元件读出在相互不同的时刻由所述摄像元件所拍摄的图像。根据上述构成，能够个别地读出主图像和副图像。

并且，所述摄像元件具有比所述主图像以及所述副图像的像素数更多数量的像素，所述主图像存储单元，对所述主图像区域的图像的像素数进行变换，并将变换了像素数的主图像区域的图像作为所述主图像存储到所述存储器，所述副图像存储单元，对所述注视区域的图像的像素数进行变换，并将变换了像素数的注视区域的图像作为所述副图像存储到所述存储器。根据上述构成，能够防止图像区域的画质劣化的情况。

并且，所述副图像存储单元，将多个所述注视区域的图像分别作为对应于每个所述注视区域的副图像存储到所述存储器，所述主图像存储单元以及所述副图像存储单元，按照所述副图像的数量，分别决定所述主图像区域的图像以及所述注视区域的图像的每一个的读出帧周期，并以决定的读出帧周期将所述副图像以及所述主图像存储到所述存储器，所述编码器单元，以决定的读出帧周期对所述副图像以及所述主图像的每一个进行压缩。根据上述构成，能够确保存在多个注视区域的情况下的扩展性。

并且，所述摄像装置还包括区域确定单元，所述区域确定单元动态地检测所述注视区域，所述副图像存储单元，将由所述区域确定单元确定的区域的图像作为所述副图像来存储。根据上述构成，通过区域确定单元确定注视区域，从而能够记录任意的副图像。因此，例如在注视区域为移动物体的区域的情况下，副图像为追踪移动物体的图像。

并且，所述区域确定单元包括触摸屏方式的输入设备，所述区域确定单元将由所述输入设备指定的区域确定为所述注视区域。根据上述构成，由于按照拍摄者的意向能够准确地确定注视区域，因此增强拍摄者的使用感。

并且，所述区域确定单元包括人物检测部，该人物检测部通过人物识别检测所希望的人物，并对检测出的人物的区域进行检测。所述区域确定单元将所述人物检测部检测出的区域确定为所述注视区域。根据上述构成，拍摄人物时，能够自动地选择副图像并进行拍摄。

并且，所述区域确定单元包括运动检测部，该运动检测部检测通过运动检测而被检测出运动的区域，所述区域确定单元将所述运动检测部检测出的区域确定为所述注视区域。根据上述构成，在监视摄像机用途等中能够自动地选择存在运动的注视区域并进行拍摄。

并且，所述区域确定单元包括视线检测部，该视线检测部检测拍摄者的视线，并根据检测出的视线确定拍摄者所注视的区域，所述区域确定单元将所述视线检测部确定的区域选择为所述注视区域。根据上述构成，能够减轻拍摄者的繁琐的手动选择操作，并且确定任意的注视区域。

并且，所述摄像装置还包括副图像信息制作单元，所述副图像信息制作单元将示出由所述区域确定单元确定的注视区域的信息作为附加信息记录到所述记录介质。根据上述构成，在副图像信息制作单元中将由区域确定单元选择的注视区域信息作为与影像不同的附加信息来填充到记录数据中。因此，在再生记录介质的数据时，容易知道注视区域。

并且，所述摄像装置还包括显示单元，所述显示单元显示所述主图像区域的图像以及所述注视区域的图像。根据上述构成，能够将图像物理地显示在相同的显示装置，并且，能够简化摄像装置的构成。此外，拍摄者能够在相同的显示装置确认主图像和副图像，因此，能够提高视认性。

并且，所述显示单元，按照所述记录单元是否正在记录副图像，来改变并显示正在显示的对应的注视区域的图像的框的颜色。根据上述构成，在对副图像个别地进行记录或不记录的操作的情况下，能够将当前的记录状态提示给拍摄者。

并且，所述摄像装置还包括主图像显示单元和副图像显示单元，所述主图像显示单元，显示所述主图像区域的图像，所述副图像显示单元，显示所述注视区域的图像。根据上述构成，例如在具有取景器和显示屏幕的摄像装置中，由于在取景器上显示主图像区域的图像，并在显示屏幕上显示注视区域的图像，拍摄者能够一边确认两者一边进行拍摄，因此，能够提高操作性。

根据本发明能够取得的卓越效果是，能够针对从一台摄像机输入的影像，同时拍摄不同区域的影像。

附图说明

图1是示出本发明实施例1涉及的摄像装置的系统结构的框图。

图2是主图像读出的模式图。

图3是副图像读出的模式图。

图4是示出图像被存储到记录媒介为止的数据流的图，尤其是着眼于存储器的缓冲器结构的图。

图5是以时间序列示出数字处理部的图像取入工作的图。

图6是在存在多个副图像的情况下的图像读出的模式图。

图7是以时间序列示出在存在多个副图像的情况下的数字处理部的图像取入工作的图。

图8是主图像以及副图像的编码工作的模式图。

图9是示出检测部的详细的结构的框图。

图10A是示出显示画面的一个例子的图。

图10B是示出显示画面的其他的一个例子的图。

图11A是示出一个画面显示中的停止记录状态的显示画面的一个例子的图。

图11B是示出划分显示中的停止记录状态的显示画面的一个例子的图。

图11C是示出在人物检测模式的情况下的一个画面显示中的正在记录中的显示画面的一个例子的图。

图11D是示出在人物检测模式的情况下的划分显示中的正在记录中的显示画面的一个例子的图。

图12是示出本发明的实施例2涉及的摄像装置的系统结构的框图。

图13A是示出显示部和检测部的一个例子的框图。

图13B是示出显示部和检测部的其他的一个例子的框图。

图14是示出位图编码器将注视的区域的框作为附加信息记录的工作的模式图。

图15是示出具备两个显示部的摄像装置的系统结构的框图。

具体实施方式

本发明的摄像装置为连接于存储器而被使用的摄像装置，包括：摄像元件，能够读出任意的区域；主图像存储单元，读出主图像区域的图像，并作为主图像存储到所述存储器，所述主图像区域的图像是指成像于所述摄像元件上的整体图像；副图像存储单元，从所述摄像元件读出注视区域的图像，并作为副图像存储到所述存储器，所述注视区域为应注视的区域；编码器单元，对主图像以及副图像进行压缩，所述主图像为由所述主图像存储单元存储到所述存储器的图像，所述副图像为由所述副图像存储单元存储到所述存储器的图像；以及记录单元，将由所述编码器单元进行了压缩的主图像以及副图像记录到记录介质。

以下，针对本发明的实施例涉及的摄像装置，参照附图进行说明。

(实施例1)

图1是示出实施例1的摄像装置的系统结构的框图。本发明的摄像装置包括：透镜1，是能够改变焦距的光学元件；透镜驱动部2，驱动透镜1，以进行变焦距工作，变焦距开关11，指定透镜1的变焦距的方向和变焦距的量；摄像元件3，对通过透镜1的被摄物光进行光电变换，并输出图像信号；摄像元件驱动部4，生成用于从摄像元件3将任意的区域作为图像来抽出的驱动信号；模拟处理部5，对从摄像元件3输出的模拟的图像信号进行减少噪声、控制增益、A/D变换(Analog/Digital Conversion：模数转换)等各种处理；数字处理部6，对被数字化的图像信号进行YC分离处理或电子的变焦距处理；存储器7，暂时存储由数字处理部6处理的图像；编码器8，将存储在存储器7的图像压缩为规定的格式；记录部9，将由编码器8图像压缩的数据存储到SD卡(Secure Digital Memory Card：安全数码卡)或HDD(Hard DiskDrive：硬盘驱动器)等记录媒介(记录介质)；显示部10，以能够确认从数字处理部6输出的图像的状态来显示，例如LCD(Liquid Crystal Display：液晶显示器)或有机EL(Electro Luminescence：电致发光)等；检测部12，针对由数据处理部6处理的图像数据，检测出应注视的图像区域，以及控制部13，进行整体控制。另外，在本实施例中，摄像装置虽然具有存储器7，但是，本发明的摄像装置不仅限于具有内置的存储器，也可以具有连接于外部而使用的存储器。另外，检测部12作为确定注视区域的区域确定单元来发挥作用。

具体地，数字处理部6包括主图像存储部15以及副图像存储部16。主图像存储部15从模拟处理部5读出对应于主图像区域的图像的图像信号，并作为主图像存储到存储器7，所述主图像区域的图像是指成像于摄像元件3上的整体图像。副图像存储部16从摄像元件3读出对应于注视区域的图像且由模拟处理部5进行处理的图像信号，并作为副图像存储到存储器7，所述注视区域为应注视的区域。

接着，针对各个构成要素，具体地进行说明。

图2以及图3是示出数字处理部6从摄像元件3读出图像的工作的图。为了简单地进行说明，例如将摄像元件3的像素数设为16×16的256像素，将存储在存储器7的动态图像的像素数设为8×8的64像素。

如图2所示，数字处理部6具有的主图像存储部15将成像于摄像元件3上的整体图像(主图像区域的图像)21作为主图像22存储到存储器7。此时，主图像存储部15将主图像区域的图像21的纵横缩小为1/2倍，并制作主图像22。也就是说，主图像22的像素数与主图像区域的图像21的像素数相比较，则纵横分别为1/2。

此外，如图3所示，数字处理部6具有的副图像存储部16将成像于摄像元件3上的整体图像31中的由检测部12检测出的应注视的图像区域的图像(注视区域的图像)32作为副图像33存储到存储器7。此时，副图像存储部16不变换纵横的倍率，并以等倍制作副图像33。因此，摄像元件3具有的图像的像素数的数量比作为主图像以及副图像而记录在存储器7的图像的像素数多。

另外，主图像存储部15在制作主图像22时，可以通过对从摄像元件3的像素读出进行间隔抽出，来进行像素数的变换，或者，也可以从摄像元件3读出所有像素之后，进行执行了数字滤波处理的像素数变换。

此外，副图像存储部16在制作副图像33时，示出了注视区域的图像32和副图像33的像素数为相同的例子，但是，可以为不同的像素数，也可以在像素数不同的情况下，进行像素读出的间隔抽出，或者，进行根据数字滤波处理的像素数变换。

接着，针对成像于摄像元件3上的图像由记录部9记录到记录媒介为止的流程进行说明。

图4是示出成像于摄像元件3上的图像被存储到记录媒介为止的数据流的图，尤其是着眼于存储器7的缓冲器结构的图。

如该图所示，数字处理部6作为硬件结构具有YC分离处理部6A和数字变焦距部6B。YC分离处理部6A将从模拟处理部5输出的RGB(red，green，blue：红绿蓝(三基色))的图像信号分离为Y(亮度)以及C(色差)的图像信号。数字变焦距部6B对在YC分离处理部6A分离出的图像进行扩大和缩小。

在图2以及图3所说明的例子中，整体图像21被数字变焦距部6B缩小为1/2倍，并作为主图像22存储到存储器7。另一方面，注视区域的图像32不进行由数字变焦距部6B的放大和缩小处理而以等倍进行剪出，并作为副图像33存储到存储部7。也就是说，主图像存储部15具有YC分离处理部6A以及数字变焦距部6B的硬件结构，副图像存储部16具有YC分离处理部6A的硬件结构。另外，副图像存储部16也可以具有数字变焦距部6B的硬件结构，进行注视区域的图像32的放大和缩小处理，并生成副图像。

接着，编码器8对存储在存储部7的主图像22以及副图像33作为输入图像而进行压缩处理。此时，编码处理所需要的参照图像或编码后的动态图像被存储在编码缓冲器7C，记录部9从编码缓冲器7C取得编码后的动态图像，并写入到记录媒介。

如上所述，本实施例的摄像装置，由于摄像元件3具有比动态图像的像素数高的像素数，因此，副图像不需要进行数字变焦距处理，并且，由于针对主图像也从高清晰的图像进行缩小处理，因此，能够抑制画质的劣化。此外，由于将变换为所希望的大小的图像存储到存储器7，因此，能够削减存储器存储次数或使用的存储容量。

图5是以时间序列示出数字处理部6的图像取入工作的图。摄像元件3为能够以比动态图像帧周期更快的速度进行拍摄的元件，例如为能够以每秒120帧进行拍摄的摄像元件。在此，整体图像41a-41h表示由摄像元件3以1/120秒周期进行拍摄的图像。数字处理部6，按照摄像元件3的每个帧周期，对主图像和副图像进行切换的同时，将图像存储到存储器7。

也就是说，主图像存储部15将整体图像41b、41d、41f、41h作为主图像区域的图像来变换像素数，并作为主图像43b、43d、43f、43h存储到存储器7。此外，副图像存储部16将整体图像41a、41c、41e、41g的注视区域的图像作为副图像42a、42c、42e、42g存储到存储器7。

因此，主图像43b、43d、43f、43h成为1/60秒周期，副图像42a、42c、42e、42g也成为1/60秒周期。也就是说，数字处理部6从一个序列的整体图像生成不同的两个序列的图像，并存储到存储器7。

另外，注视区域也可以为多个。在此情况下，副图像存储部16将多个注视区域的图像作为对应于每个注视区域的副图像存储到存储器7。

图6是以时间序列示出数字处理部6从摄像元件3读出两个注视区域的工作的图。具有数字处理部6的主图像存储部15，将成像于摄像元件3上的整体图像51作为主图像54取入到存储器7。此时，主图像存储部15将整体图像51的纵横缩小为1/2倍，并制作主图像54。此外，具有数字处理部6的副图像存储部16，将成像于摄像元件3上的整体图像51中的由检测部12检测出的注视区域52的图像作为副图像55取入到存储器7。此时，不变换纵横的倍率，并以等倍制作副图像55。进一步，副图像存储部16将由检测部12检测出的注视区域53的图像作为副图像56存储到存储器7。此时，副图像存储部16将注视区域53的图像的纵横放大为2倍，并制作副图像56。

另外，如上制作主图像54时，可以通过对从摄像元件3的像素读出进行间隔抽出，来进行像素数的变换，或者，也可以从摄像元件3读出所有像素之后，进行执行了数字滤波处理的像素数变换。注视区域52以及53可以与动态图像的像素数不同，也可以在像素数不同的情况下，通过像素读出的间隔抽出或数字滤波处理进行像素数变换。在此，以两个注视区域为例进行了说明，但是不需要限定为两个。

图7是以时间序列示出在存在两个所述的注视区域的情况下的数字处理部6的图像取入工作的图。摄像元件3为能够以每秒120帧进行拍摄的摄像元件，并且，整体图像61a-61h表示由摄像元件3以1/120秒周期进行拍摄的图像。数字处理部6将主图像按照摄像元件3的每个帧周期存储到存储器7，并且，将两个副图像从主图像之外的帧交替地存储到存储器7。

即主图像存储部15，将整体图像61b、61d、61f、61h作为主图像区域的图像变换像素数，并作为主图像64b、64d、64f、64h存储到存储器7。此外，副图像存储部16将整体图像61a、61e的第一注视区域的图像作为第一副图像62a、62e存储到存储器7。进一步，将整体图像61c、61g的第二注视区域的图像作为第二副图像63c、63g存储到存储器7。

因此，主图像64b、64d、64f、64h成为1/60秒周期，第一副图像62a、62e成为1/30秒周期，第二副图像63c、63g成为1/30秒周期。也就是说，数字处理部6从一个系统的整体图像生成不同的三个序列的图像，并存储到存储器7。

另外，如上所述注视区域不需要限定为两个，也不需要限定各个图像的取入周期。

图8是示出对存储在存储器7的主图像以及副图像进行编码并进行记录工作的图。

编码器8对主图像71进行图像压缩并生成主图像动态图像73，并且，对副图像72进行图像压缩并生成副图像动态图像74。记录部9将被生成的两个不同的动态图像作为两个文件存储到记录媒介75。此外，编码器8对主图像71和副图像72进行图像压缩，并生成多角度动态图像76。记录部9将被生成的一个多角度动态图像76作为一个文件存储到记录媒介75。

另外，在此以对两个不同的图像进行编码为例进行了说明，但是不需要限定为两个。此外，对于作为多个动态图像而记录的情况，为了示出多个动态图像为有关联的动态图像，也可以实施如使文件名或文件管理信息的属性具有特征这样的处理。

此外，摄像装置也可以针对主图像的输入以及副图像的输入，按照摄像元件3的拍摄能力(最高帧周期、像素数等)决定读出的帧周期，编码器8以分别决定的帧周期进行图像压缩。

图9是示出检测部12的详细的结构的图。

检测部12包括：帧存储器81、运动检测部82、人物检测部83以及区域决定部84。帧存储器81存储由数字处理部6取入的主图像数据。运动检测部82根据不同时刻的主图像数据的差分信息，检测主图像内的存在运动的区域，并将检测出的运动区域信息传送到区域决定部84。另一方面，人物检测部83预先保持人的脸上的特征性的模型，根据模型匹配检测是否为人物的脸，并将表示检测出的人物的区域的区域信息传送到区域决定部84。区域决定部84按照当前的工作模式是运动检测模式还是人物检测模式来决定将哪一个区域信息设为有效，并将应注视的区域信息传送到控制部13。

另外，虽然没有言及到帧存储器81的物理位置，不过，也可以存在在存储器7内。此外，运动检测部82的运动检测方法或人物检测部83的人物检测方法可以使用任意的方法来实现，也可以使用运动检测或人物检测之外的检测方法来实现。针对区域决定部84的决定方法，除可以选择任意的区域信息之外，还可以根据所有的区域信息进行区域的合并或删除等。

图10A以及图10B是示出显示部10的显示画面的一个例子的图。第一注视区域91a表示由运动检测部82检测出的区域，第二注视区域92a表示由人物检测部83检测出的区域。图10A是将第一注视区域91a的区域框和第二注视区域92a的区域框重叠在主图像93a上而显示的图。图10B是对主图像93b和第一注视区域91b和第二注视区域92b进行划分并显示在一个画面上的图。

另外，这些显示方法可以通过设定而进行切换，也可以在划分显示的情况下，使具有多个显示画面并分别进行显示。

此外，显示部10也可以按照副图像是否正由记录部9记录在记录媒介75，来变换并显示正在显示的对应的注视区域的图像的框的颜色。

图11A-图11D是示出在记录状态的情况下的显示部10的显示画面的其他的一个例子的图。

图11A是示出一个画面显示中的停止记录状态的显示画面的一个例子的图。显示部10的显示画面上显示表示第一注视区域的运动检测框101a和表示第二注视区域的人物检测框102a。在此，由于第一注视区域的图像以及第二注视区域的图像处于停止记录状态，因此，例如将运动检测框101a以及人物检测框102a显示为绿色的框。由于主图像处于停止记录状态，因此，显示记录停止标记103a。

图11B是示出划分显示中的停止记录状态的显示画面的一个例子的图。在此情况下，将记录停止标记101b、102b以及103b显示在每一个画面上。

图11C是示出在人物检测模式的情况下的一个画面显示中的正在记录中的显示画面的一个例子的图。由于在人物检测模式的情况下，由人物检测部83检测出的第二注视区域的图像为记录对象，因此，例如将人物检测框102c显示为红色的框。由于由运动检测部82检测出的第一注视区域的图像不是记录对象，因此，例如将运动检测框101c显示为绿色的框。由于主图像处于正在记录中，因此，显示记录中标记103c。

图11D是示出在人物检测模式的情况下的划分显示中的正在记录中的显示画面的一个例子的图。由于由运动检测部82检测出的第一注视区域不是记录对象，因此，显示记录停止标记101d。由于由人物检测部83检测出的第二注视区域为记录对象，因此，显示记录中标记102d。由于主图像处于正在记录中，因此，显示记录中标记103d。

因此，能够在个别地进行记录或不记录副图像的操作的情况下，将当前的记录状态提示给拍摄者。

另外，虽然在不是记录对象的检测区域上显示了框，但是，可以在不是显示对象的情况下不显示框其本身，也可以在划分显示的情况下在画面上不显示区域其本身。

如上所述，本实施例的摄像装置，即使在主画像区域和注视区域不同的情况下，也能够同时记录主图像和副图像。此外，与通过从存储在存储器7的图像剪切出注视区域以及进行大小变换，从而生成副图像的情况相比较，由于存储到存储器7之前从注视区域的图像生成副图像，因此，能够降低画质的劣化。

此外，本实施例的摄像装置，由于无需通过该摄像装置的操作者的输入，而利用人物检测以及运动检测来决定注视区域，因此，能够减轻操作者的负担。

(实施例2)

本实施例的摄像装置是根据操作者的工作来决定注视区域的装置。在本实施例中，对于与实施例1相同的部分赋予相同的符号，并省略其详细的说明。

图12是示出实施例2的摄像装置的系统构成的框图。本摄像装置包括：透镜1，是能够改变焦距的光学元件；透镜驱动部2，驱动透镜1，以进行变焦距工作；变焦距开关11，指定透镜1的变焦距的方向和变焦距的量；摄像元件3，对通过透镜1的被摄物光进行光电变换，并输出图像信号；摄像元件驱动部4，生成用于从摄像元件3将任意的区域作为图像来抽出的驱动信号；模拟处理部5，对从摄像元件3输出的模拟的图像信号进行减少噪声、控制增益、A/D变换等各种处理；数字处理部6，对被数字化的图像信号进行YC分离处理或电子的变焦距处理；存储器7，暂时存储由数字处理部6处理的图像；编码器8，将存储在存储器7的图像压缩为规定的格式；记录部9，将由编码器8图像压缩的数据存储到SD卡或HDD等记录媒介；显示部1110，以能够确认从数字处理部6输出的图像的状态来显示，例如EVF(Electronic View Finder：电子取景器)等；检测部1112，与显示部1110联动，以检测应注视的图像区域，位图编码器1114，压缩为了示出由检测部1112检测出的图像区域的显示画面显示框的位图数据；以及控制部13，进行整体控制。

如上所述，本实施例的摄像装置的系统构成与实施例1的摄像装置的系统构成相比较，虽然大致相同，但是，具备位图编码器1114之处和检测部1112检测操作者的操作之处有所不同。另外，位图编码器1114作为副图像信息制作单元来发挥作用，所述副图像信息制作单元将示出注视区域的信息作为附加信息记录到记录媒介。

另外，在本实施例中，摄像装置虽然具有存储器7，但是，也可以与实施例1相同，将存储器7设置在摄像装置的外部来使用。

接着，针对与实施例1不同之处进行详细的说明。

首先，针对检测部1112进行说明。检测部1112与显示部1110联动来进行工作。

图13A以及图13B是示出显示部1110和检测部1112的一个例子的框图。也就是说，在图13A中分别示出作为显示部1110以及检测部1112的一个例子的EVF1110a以及视线检测部1112a，在图13B中分别示出作为显示部1110以及检测部1112的其他的一个例子的LCD1110b以及触摸屏1112b。如图13A所示，拍摄者注视EVF1110a，从而视线检测部1112a检测拍摄者正在注视的区域，并将注视区域的信息通知给控制部13。因此，能够减轻拍摄者的繁琐的手动操作。

如图13B所示，在其他的构成中，拍摄者确认在LCD1110b上显示的主图像，使用触摸屏1112b将想拍摄的地方指定为副图像。将指定的注视区域的信息通知给控制部13，并与实施例1相同地将选择的区域的图像作为副图像来记录。由于能够按照拍摄者的意向准确地确定注视区域，因此能够增强拍摄者的使用感。

另外，也可以视线或在触摸屏上的指定由不同的其他的用户来操作。

如上所述，作为用于确定注视区域并记录任意的副图像的副图像选择方法，可以将使用触摸屏方式的输入装置指定的地方作为注视区域来选择，也可以将通过人物识别抽出的所希望的人物作为注视区域来选择，也可以将通过运动检测检测出运动的地方作为注视区域来选择，也可以将通过视线检测拍摄者正在注视的地方作为注视区域来选择。

接着，针对位图编码器1114进行说明。

图14是示出位图编码器1114将由检测部1112检测出的注视区域的框作为附加信息进行记录工作的模式图。存储器7存储主图像1301、主图像内的注视区域框1302、以及副图像1305，并且，主图像1301为Y/C形式的图像数据，注视区域框1302为以Y/C形式的彩色调色板制作的位图数据，副图像1305为Y/C形式的图像数据。显示部1110显示对主图像1301和注视区域框1302进行合成的显示画面1303，位图编码器1114对注视区域框1302进行行程长度编码(Run-Length Encoding：RLE)。

编码器8对主图像1301进行图像压缩，并通过对图像压缩后的主图像和进行了行程长度编码后的位图数据进行多路复用，从而生成一个主图像动态图像1304。此外，编码器8对副图像1305进行图像压缩，并生成一个副图像动态图像1306。记录部9将主图像动态图像1304和副图像动态图像1306记录到记录媒介75。

如上所述，在再生主图像动态图像时，能够知道哪个影像被作为副图像记录到记录媒介75。

另外，位图数据的压缩方法并不限定于行程长度编码，也可以使用其他的压缩方法。此外，不仅可以压缩位图数据其本身，还可以附加作为动态图像附带的元数据的信息。

如上所述，本实施例涉及的摄像装置，将由位图编码器1114进行行程长度编码后的位图数据作为附加信息记录到记录媒介75，因此，能够在再生记录媒介75的数据时，更容易地确定注视区域。

如上所述，根据本发明涉及的摄像装置，控制部13根据变焦距开关11的操作，控制透镜1，并将成像于摄像元件3上的主图像存储到存储器7，并且，将由检测部12检测出的主图像内的注视区域一并存储到存储器7。这些主图像和副图像为被存储在存储器的在不同的时刻所拍摄的图像，编码器8对主图像和副图像分别进行编码，并由记录部9同时记录不同的图像。因此，能够取得的卓越效果是，能够针对从一台摄像机输入的影像，同时拍摄不同区域的影像。

以上，针对本发明涉及的摄像装置，利用实施例1以及实施例2进行了说明，但是，本发明并不限定于这些实施例。本发明可以作为组合这些实施例中的任意的构成要素而得到的其他的实施例来实现，也可以作为在不脱离本发明的主旨的范围内本领域的技术人员对这些实施例进行所想到的变形而得到的实施例来实现。

例如显示部10如图15所示也可以具备主图像显示部10A和副图像显示部10B，所述主图像显示部10A显示主图像区域的图像，所述副图像显示部10B显示注视区域的图像。由于例如在取景器上显示主图像区域的图像，并在显示屏幕上显示注视区域的图像，拍摄者能够一边确认两者一边进行拍摄，因此，能够提高操作性。

本发明作为一种摄像装置，尤其能够针对从一台摄像机输入的影像，同时拍摄不同区域的影像，因此，可以适用在例如家庭用摄像机、监视摄像机、车载摄像机等领域。

符号说明

1 透镜

2 透镜驱动部

3 摄像元件

4 摄像元件驱动部

5 模拟处理部

6 数字处理部

6A YC分离处理部

6B 数字变焦距部

7 存储器

7C 编码缓冲器

8 编码器

9 记录部

10、1110 显示部

10A 主图像显示部

10B 副图像显示部

11 变焦距开关

12、1112 检测部

13 控制部

15 主图像存储部

16 副图像存储部

21、31、41a-41h、51、61a-61h 整体图像(主图像区域的图像)

22、43b、43d、43f、43h、54、64b、64d、64f、64h、71、93a、93b、1301 主图像

32 注视区域的图像

33、42a、42c、42e、42g、55、56、72、1305 副图像

52、53 注视区域

62a、62e 第一副图像

63c、63g 第二副图像

73、1304 主图像动态图像

74、1306 副图像动态图像

75 记录媒介

76 多角度动态图像

81 帧存储器

82 运动检测部

83 人物检测部

84 区域决定部

91a、91b 第一注视区域

92a、92b 第二注视区域

101a、101c 运动检测框

101b、101d、102b、103a、103b 记录停止标记

102a、102c 人物检测框

102d、103c、103d 记录中标记

1110a EVF(电子取景器)

1110b LCD(液晶显示器)

1112a 视线检测部

1112b 触摸屏

1114 位图编码器

1302 注视区域框

1303 显示画面

Claims

1.一种摄像装置，连接于存储器而被使用,其特征在于,包括:

摄像元件,能够读出任意的区域；

主图像存储单元,读出主图像区域的图像,并作为主图像存储到所述存储器,所述主图像区域的图像是指成像于所述摄像元件上的整体图像；

副图像存储单元,从所述摄像元件读出注视区域的图像,并作为副图像存储到所述存储器,所述注视区域为应注视的区域；

编码器单元,对主图像以及副图像进行压缩,所述主图像为由所述主图像存储单元存储到所述存储器的图像,所述副图像为由所述副图像存储单元存储到所述存储器的图像；以及

记录单元,将由所述编码器单元进行了压缩的主图像以及副图像记录到记录介质；

所述摄像元件为能够以比动态图像帧周期更快的速度进行拍摄的摄像元件,

所述主图像存储单元和所述副图像存储单元,从所述摄像元件读出在相互不同的时刻由所述摄像元件所拍摄的图像。

2.如权利要求1所述的摄像装置，其特征在于,

所述摄像元件具有比所述主图像以及所述副图像的像素数更多数量的像素,

所述主图像存储单元,对所述主图像区域的图像的像素数进行变换,并将变换了像素数的主图像区域的图像作为所述主图像存储到所述存储器,

所述副图像存储单元,对所述注视区域的图像的像素数进行变换,并将变换了像素数的注视区域的图像作为所述副图像存储到所述存储器。

3.如权利要求1所述的摄像装置，其特征在于,

所述副图像存储单元,将多个所述注视区域的图像分别作为对应于每个所述注视区域的副图像存储到所述存储器,

所述主图像存储单元以及所述副图像存储单元,按照所述副图像的数量,分别决定所述主图像区域的图像以及所述注视区域的图像的每一个的读出帧周期,并以决定的读出帧周期将所述副图像以及所述主图像存储到所述存储器,

所述编码器单元,以决定的读出帧周期对所述副图像以及所述主图像的每一个进行压缩。

4.如权利要求1所述的摄像装置，其特征在于,

所述摄像装置还包括区域确定单元，所述区域确定单元动态地确定所述注视区域。

5.如权利要求4所述的摄像装置，其特征在于,

所述区域确定单元包括触摸屏方式的输入设备,

所述区域确定单元将由所述输入设备指定的区域确定为所述注视区域。

6.如权利要求4所述的摄像装置，其特征在于,

所述区域确定单元包括人物检测部，该人物检测部通过人物识别检测所希望的人物,并对检测出的人物的区域进行检测,

所述区域确定单元将所述人物检测部检测出的区域确定为所述注视区域。

7.如权利要求4所述的摄像装置，其特征在于,

所述区域确定单元包括运动检测部，该运动检测部检测通过运动检测而被检测出运动的区域,

所述区域确定单元将所述运动检测部检测出的区域确定为所述注视区域。

8.如权利要求4所述的摄像装置，其特征在于,

所述区域确定单元包括视线检测部，该视线检测部检测拍摄者的视线,并根据检测出的视线确定拍摄者所注视的区域,

所述区域确定单元将所述视线检测部确定的区域选择为所述注视区域。

9.如权利要求4所述的摄像装置，其特征在于,

所述摄像装置还包括副图像信息制作单元，所述副图像信息制作单元将示出由所述区域确定单元确定的注视区域的信息作为附加信息记录到所述记录介质。

10.如权利要求9所述的摄像装置，其特征在于,

所述摄像装置还包括显示单元，所述显示单元显示所述主图像区域的图像以及所述注视区域的图像。

11.如权利要求10所述的摄像装置，其特征在于,

所述显示单元，按照所述记录单元是否正在记录副图像,来改变并显示正在显示的对应的注视区域的图像的框的颜色。

12.如权利要求1所述的摄像装置，其特征在于,

所述摄像装置还包括主图像显示单元和副图像显示单元，

所述主图像显示单元，显示所述主图像区域的图像,

所述副图像显示单元，显示所述注视区域的图像。