CN116017165A - 摄像设备及其控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法和存储介质。该摄像设备消除了拍摄图像期间对摄像方向的手动改变，并且可以在使注意力集中于体验的同时容易地获得记录该体验的图像。摄像单元拍摄广角图像。面部方向检测单元检测用户的面部的方向。面部移动检测单元检测面部的垂直移动和面部的水平移动。用户移动检测单元检测用户的移动。提取区域确定单元基于所检测到的面部的方向、所检测到的面部移动和所检测到的用户移动来确定包括从广角图像中提取的提取图像的位置和大小的提取条件中的至少一个。提取单元利用所确定的提取条件从广角图像中提取该提取图像。

Description

摄像设备及其控制方法和存储介质

技术领域

本发明涉及用作运动型照相机的摄像设备及其控制方法和存储其控制程序的存储介质。

背景技术

在用户利用照相机拍摄被摄体的图像的情况下，用户需要连续地将照相机指向被摄体。因此，由于用户忙于摄像操作，因而用户可能觉得难以管理除摄像动作以外的动作。此外，由于用户必须将他们的注意力集中于摄像操作，因而用户可能觉得难以将他们的注意力集中于他们的周边环境。

例如，如果用户是父母，则用户在进行以儿童作为被摄体的摄像操作的同时不能与儿童一起玩，并且在与儿童一起玩的同时摄像操作变得不可能。

作为另一示例，如果用户在观看体育比赛的同时进行摄像操作，则用户不能将他们的注意力集中于比赛(例如，不能欢呼或不能记住比赛内容)，并且在将注意力集中于观看体育比赛的同时摄像操作变得不可能。类似地，当用户在随团旅行期间进行摄像操作时，用户不能将他们的注意力以与其他团组成员相同的程度集中于旅行体验，并且当用户优先他们的旅行体验时，结果摄像操作变差。

作为用于解决这些问题的方法，设想了如下的方法，其中使用固定到头部配件将照相机固定到用户的头部以在观察方向上拍摄图像。这使得用户能够在不必忙于摄像操作的情况下进行摄像操作。此外，还考虑了用于在体验期间利用全天球照相机在宽区域中拍摄图像的方法。这使得用户能够在摄像操作期间将注意力集中于他们的体验。在体验之后，用户可以从所拍摄到的全天球图像中提取期望的图像部分，并对该图像部分进行编辑以获得体验的图像。

然而，这些方法需要如下的麻烦动作，该动作为头部配备如图40A所示的固定有运动型照相机901的主体的固定到头部配件902。此外，如图40B所示，在用户用固定到头部配件902为头部配备运动型照相机901的情况下，外观差，并且也使用户的发型凌乱。此外，用户可能因固定到头部配件902和运动型照相机901的重量而对它们的存在感到不安，并且可能担忧对第三者带来不好的观感。因此，由于在图40B所示的状态下用户不能将他们的注意力集中于体验、或者由于用户对图40B所示的风格感到抵制，因此用户可能觉得难以进行摄像操作。

另一方面，后者方法需要进行诸如图像转换和提取位置指定等的一系列操作。例如，已知有如图41所示的配备有镜头904和摄像按钮905的全天球照相机903。镜头904是全天球照相机903的壳体两侧所设置的用于拍摄半天球图像的一对鱼眼镜头其中之一。全天球照相机903使用这些鱼眼镜头来拍摄全天球图像。然后，通过将该对鱼眼镜头的投影图像合成来获得全天球图像。

图42A、图42B和图42C是示出全天球照相机903所拍摄到的图像的转换处理的示例的图。

图42A示出全天球照相机903所获得的全天球图像的示例，并且包括用户906、儿童907和树908作为被摄体。由于该图像是通过将一对鱼眼镜头的投影图像合成所获得的全天球图像，因此用户906极大地失真。此外，由于作为用户906想要拍摄的被摄体的儿童907的身体部分位于镜头904的拍摄区域的周边部，因此身体部分在左右方向上极大地失真并且被拉伸。另一方面，由于树908是位于镜头904正面的被摄体，因此以不存在大的失真的状态拍摄树908。

为了从图42A所示的图像生成人们通常观看的视场(visual field)的图像，需要提取该图像的一部分，进行平面转换，并且显示转换后的图像。

图42B是从图42A所示的图像中提取的位于镜头904正面的图像。在图42B的图像中，树908被示出在人们通常观看的视场的中央。然而，由于图42B的图像不包括用户906想要拍摄的儿童907，因此用户必须改变提取位置。具体地，在这种情况下，需要在图42A中将提取位置从树908向左和向下移动30°。图42C示出通过提取移动后的位置并进行平面转换所获得的显示图像。这样，为了从图42A的图像获得用户想要拍摄的图42C的图像，用户必须提取所需区域并且必须进行平面转换。因此，尽管用户可以在体验期间(在摄像期间)将注意力集中于体验，但用户的后续工作量大。

日本特开2007-74033(JP 2007-74033A)公开了如下的技术，该技术除了使用拍摄被摄体的第一照相机之外，还使用拍摄用户的第二照相机。该技术根据第二照相机所拍摄到的图像计算用户的移动方向和视线方向，确定第一照相机的摄像方向，并且拍摄基于用户的视点和状态所估计的被摄体的图像。

日本特开2017-60078(JP 2017-60078A)(美国专利申请20170085841的同族)公开了一种图像记录系统，该图像记录系统包括附接到用户的头部的传感器装置和单独附接到用户的身体或包袋的摄像设备。传感器装置由陀螺仪传感器或加速度传感器组成，并且检测用户的观察方向。摄像设备在传感器装置所检测到的观察方向上拍摄图像。

然而，由于JP 2007-74033A的第二照相机从远离用户的位置拍摄用户的图像，因此第二照相机需要高光学性能以根据第二照相机所拍摄到的图像来计算用户的移动方向和视线方向。此外，由于需要高运算处理能力来处理第二照相机所拍摄到的图像，因此设备的规模变大。此外，即使满足了高光学性能和高运算处理能力，也不能精确地计算出用户的观察方向。因此，由于不能基于用户的视点和状态以足够的准确度估计用户想要拍摄的被摄体，因此可能拍摄到除用户想要的图像以外的图像。

此外，由于JP 2017-60078A的传感器装置直接检测用户的观察方向，因此用户需要为头部配备该传感器装置，这不能解决如上所述的将任何装置附着到头部时的烦恼。此外，在传感器装置由陀螺仪传感器或加速度传感器组成的情况下，在相对观察方向的检测方面可以获得一定的准确度。然而，由于不能获得绝对观察方向(特别是水平转动方向)的检测准确度，因此在实际应用中存在问题。

发明内容

本发明提供一种摄像设备及其控制方法和存储其控制程序的存储介质，其消除摄像操作期间的摄像方向的手动改变、并且可以在允许用户将注意力集中于体验的同时容易地获得记录该体验的图像。

因此，本发明的一个方面提供一种摄像设备，其包括：摄像单元，其被配置为拍摄广角图像；面部方向检测单元，其被配置为检测用户的面部的方向；面部移动检测单元，其被配置为检测包括面部的垂直移动和面部的水平移动的移动中的至少一个移动；用户移动检测单元，其被配置为检测用户的移动；提取区域确定单元，其被配置为基于所述面部方向检测单元所检测到的面部的方向以及所述面部移动检测单元和所述用户移动检测单元的检测结果，确定包括从所述广角图像中提取的提取图像的位置和大小的提取条件中的至少一个提取条件；以及提取单元，其被配置为利用所述提取区域确定单元所确定的提取条件中的所述至少一个提取条件，从所述广角图像中提取所述提取图像。

根据本发明，摄像操作期间的摄像方向的手动改变变得不必要，并且可以在允许用户将注意力集中于体验的同时容易地获得记录该体验的图像。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1A是示出包括作为根据第一实施例的摄像设备的摄像/检测单元的照相机本体的外观图。

图1B是示出用户佩戴照相机本体的状态的图。

图1C是示出从图1A的后侧看到的照相机本体中的电池单元的图。

图1D是示出与照相机本体分开的作为根据第一实施例的便携式装置的显示设备的外观图。

图2A是示出照相机本体中的摄像/检测单元的前视图。

图2B是示出照相机本体中的连接构件的带部的形状的图。

图2C是示出摄像/检测单元的后视图。

图2D是示出摄像/检测单元的顶视图。

图2E是示出布置在摄像/检测单元内部和照相机本体中的面部方向检测窗下方的面部方向检测单元的结构的图。

图2F是示出从用户的左侧看到的用户佩戴照相机本体的状态的图。

图3A、图3B和图3C是示出电池单元的详情的图。

图4是示出根据第一实施例的照相机本体的功能框图。

图5是示出根据第一实施例的照相机本体的硬件结构的框图。

图6是示出显示设备的硬件结构的框图。

图7A是示意性示出由照相机本体和显示设备执行的根据第一实施例的摄像/记录处理的流程图。

图7B是示出根据第一实施例的图7A的步骤S100中的准备处理的子例程的流程图。

图7C是示出根据第一实施例的图7A的步骤S200中的面部方向检测处理的子例程的流程图。

图7D是示出根据第一实施例的图7A的步骤S300中的记录方向/区域确定处理的子例程的流程图。

图7E是示出根据第一实施例的图7A的步骤S500中的记录区域显像处理的子例程的流程图。

图7F是用于说明视频图像模式中的图7A的步骤S200至S500中的处理的图。

图8A是示出从面部方向检测窗看到的用户的图像的图。

图8B是示出从面部方向检测窗看到的用户的图像中的、房间中的荧光灯作为背景出现的情况的图。

图8C是示出如下图像的图，该图像是通过在红外检测装置的红外LED未点亮的状态下、使图8B所示的用户和作为背景的荧光灯通过面部方向检测窗成像到红外检测装置的传感器上所获得的。

图8D是示出如下图像的图，该图像是通过在红外LED点亮的状态下、使图8B所示的用户和作为背景的荧光灯通过面部方向检测窗成像到红外检测装置的传感器上所获得的。

图8E是示出通过从图8D的图像中减去图8C的图像所计算出的差图像的图。

图8F是示出如下结果的图，该结果是通过调整图8E中的差图像的浓淡以适合投射到用户的面部和颈部的红外光的反射分量的光强度的标度所获得的。

图8G是通过在图8F上叠加表示用户的身体的部位的附图标记、示出喉部位置的双圆圈和示出下巴位置的黑色圆圈所获得的图。

图8H是示出在使用户的面部朝右时、通过与图8E类似的方法所计算出的差图像的图。

图8I是示出通过以下操作所获得的结果的图：调整图8H中的差图像的浓淡以适合投射到用户的面部和颈部的红外光的反射分量的光强度的标度，以及叠加示出喉部位置的双圆圈和示出下巴位置的黑色圆圈。

图8J是示出从面部方向检测窗看到的使面部朝上33°的用户的图像的图。

图8K是示出通过以下操作所获得的结果的图：调整在用户使面部朝上33°时通过与图8E类似的方法所计算出的差图像的浓淡以适合投射到用户的面部和颈部的红外光的反射分量的光强度的标度，以及叠加示出喉部位置的双圆圈和示出下巴位置的黑色圆圈。

图9是示出红外LED的点亮定时以及相关信号的时序图。

图10A至图10D是说明用户的面部在垂直方向上的移动的图。

图11A是示出在用户面向正面的情况下由照相机本体的摄像单元拍摄到的超广角图像中所设置的目标视场的图。

图11B是示出从图11A的超广角图像提取的目标视场中的图像的图。

图11C是示出在用户正在观察A被摄体的情况下的超广角图像中所设置的目标视场的图。

图11D是示出通过对从超广角图像提取的图11C的目标视场中的图像的失真和模糊进行校正所获得的图像的图。

图11E是示出在用户正在以比图11C中的场角设置值(field-angle set value)小的场角设置值观察A被摄体的情况下的超广角图像中所设置的目标视场的图。

图11F是示出通过对从超广角图像提取的图11E的目标视场中的图像的失真和模糊进行校正所获得的图像的图。

图12A是示出超广角图像中所设置的目标视场的示例的图。

图12B是示出在场角设置值与图12A的目标视场的场角设置值相同并且观察方向不同的情况下的超广角图像中所设置的目标视场的示例的图。

图12C是示出在场角设置值与图12A的目标视场的场角设置值相同并且观察方向不同的情况下的超广角图像中所设置的目标视场的另一示例的图。

图12D是示出在观察方向与图12C的目标视场的观察方向相同并且场角设置值更小的情况下的超广角图像中所设置的目标视场的示例的图。

图12E是示出在图12A所示的目标视场周围赋予与预定图像稳定水平相对应的图像稳定裕量的示例的图。

图12F是示出在图12B所示的目标视场周围赋予与图12E的图像稳定裕量的相同图像稳定水平相对应的图像稳定裕量的示例的图。

图12G是示出在图12D所示的目标视场周围赋予与图12E的图像稳定裕量的相同图像稳定水平相对应的图像稳定裕量的示例的图。

图13是示出在照相机本体的摄像操作之前在显示设备的显示单元上显示的用于设置视频图像模式的各种设置值的菜单画面的图。

图14是示出图7A的步骤S600中的主记录处理的子例程的流程图。

图15是示出通过主记录处理所生成的图像文件的数据结构的图。

图16是图7A的步骤S700中的向显示设备的发送处理的子例程的流程图。

图17是示出图7A的步骤S800中的光学校正处理的子例程的流程图。

图18A至图18F是用于说明图17的步骤S803中的应用失真校正的处理的图。

图19是示出图7A的步骤S900中的图像稳定处理的子例程的流程图。

图20是示出根据第二实施例的记录方向/记录区域校正处理的流程图。

图21A至图21D是示出图20的步骤S2003中的记录方向的校正的示例的示意图。

图22是示出图20的步骤S2005中的记录区域的校正的示例的示意图。

图23是示出根据第三实施例的记录方向确定处理的流程图。

图24A和图24B是示出面部方向的变化的示意图。

图25A和图25B是示出提取区域的变化的示例的示意图。

图26是示出根据第四实施例的在检查预览图像时执行的记录方向确定处理的流程图。

图27是示出根据第五实施例的图像提取处理的流程图。

图28是示出第五实施例中的处理的定时的时序图。

图29A是示出基于记录视频图像时的先前提取位置和目标提取位置之间的差量的移动量控制的状态的曲线图。

图29B是示出实时取景模式中的移动量控制的状态的曲线图。

图29C是示出为了减少记录视频图像时的移动量而与该移动量相乘的移动量校正增益的曲线图。

图29D是示出与面部方向检测可靠度相对应的移动量控制的状态的曲线图。

图30是示出图27的步骤S1200中的提取位置确定处理的详情的流程图。

图31是示出图30的步骤S1220中的多帧提取位置确定处理的流程图。

图32是示出图27(第五实施例)的步骤S1100中的目标提取位置确定处理的流程图。

图33A至图33C是示出学习图像的示例的示意图。

图34是示出使用机器学习的面部方向检测处理的流程图。

图35A是示出鱼眼镜头的像面与面部方向之间的对应关系以及计算像面的坐标的状态的示意图。

图35B是示出鱼眼镜头的像面与面部方向之间的对应关系以及计算像面的坐标的状态的示意图。

图35C是示出鱼眼镜头的像面与面部方向之间的对应关系以及计算像面的坐标的状态的示意图。

图35D是示出鱼眼镜头的像面与面部方向之间的对应关系以及计算像面的坐标的状态的示意图。

图35E是示出鱼眼镜头的像面与面部方向之间的对应关系以及计算像面的坐标的状态的示意图。

图35F是示出鱼眼镜头的像面与面部方向之间的对应关系以及计算像面的坐标的状态的示意图。

图36A和图36B是示出第五实施例中的在面部方向变化的情况下计算提取位置的状态的示意图。

图36C和图36D是示出第五实施例中的在面部方向变化的情况下计算提取位置的状态的示意图。

图36E是示出第五实施例中的在面部方向变化的情况下计算提取位置的状态的曲线图。

图36F是示出第五实施例中的在面部方向变化的情况下计算提取位置的状态的曲线图。

图36G是示出第五实施例中的在面部方向变化的情况下计算提取位置的状态的曲线图。

图37A和图37B是第六实施例中的使用具体数值描述根据鱼眼图像计算图像提取位置的坐标的状态的图。

图37C和图37D是第七实施例中的使用具体数值描述根据鱼眼图像计算图像提取位置的坐标的状态的图。

图38A是示出第八实施例中根据面部方向计算像面的坐标值的状态的示意图。

图38B是示出第八实施例中根据面部方向计算像面的坐标值的状态的示意图。

图38C是示出第八实施例中根据面部方向计算像面的坐标值的状态的示意图。

图39A和图39B是示出第九实施例中的使用具体数值示出在面部方向变化的情况下计算提取位置的状态的图。

图39C是示出第九实施例中的使用具体数值示出在面部方向变化的情况下计算提取位置的状态的图。

图39D和图39E是示出第九实施例中的使用具体数值示出在面部方向变化的情况下计算提取位置的状态的图。

图39F是示出第九实施例中的使用具体数值示出在面部方向变化的情况下计算提取位置的状态的图。

图39G是示出第九实施例中的使用具体数值示出在面部方向变化的情况下计算提取位置的状态的图。

图39H是示出第九实施例中的使用具体数值示出在面部方向变化的情况下计算提取位置的状态的图。

图40A和图40B是示出使用传统的固定到头部配件固定到头部的照相机的结构示例的图。

图41是示出传统的全天球照相机的结构示例的图。

图42A、图42B和图42C是示出图41的全天球照相机所拍摄到的图像的转换处理的示例的图。

具体实施方式

以下将通过参考附图来详细说明根据本发明的实施例。

图1A至图1D是用于说明由照相机本体1和与照相机本体1分开的显示设备800组成的照相机系统的图。照相机本体1包括作为根据第一实施例的可佩戴式摄像设备的摄像/检测单元10。在本实施例中，尽管照相机本体1和显示设备800是分开的装置，但这两者可以是一体的。

图1A是示出照相机本体1的外观图。如图1A所示，照相机本体1设置有摄像/检测单元10、电池单元(电源单元)90、右侧连接构件80R和左侧连接构件80L。右侧连接构件80R在用户身体的右侧(图1A中的左侧)连接摄像/检测单元10和电池单元90。左侧连接构件80L在用户身体的左侧(图1A中的右侧)连接摄像/检测单元10和电池单元90。

摄像/检测单元10设置有面部方向检测窗13、启动开关14、停止开关15、摄像镜头16、LED 17、以及麦克风19L和19R。

面部方向检测窗13许可从摄像/检测单元10中内置的红外LED 22(图5，红外照射单元)投射的红外光透过以检测用户的面部部位的位置。面部方向检测窗13还许可来自面部的反射红外光透过。

启动开关14用于启动摄像操作。停止开关15用于停止摄像操作。摄像镜头16将要拍摄的光引导到摄像/检测单元10内部的固态图像传感器42(图5)。LED 17表示摄像操作正在进行中的状态。附加地或可选地，LED 17可以用作警告灯。

麦克风19R和19L收取周边声音。麦克风19L收取用户周边的左侧(图1A中的右侧)的声音。麦克风19R收取用户周边的右侧(图1A中的左侧)的声音。

图1B是示出用户佩戴照相机本体1的状态的图。

在用户佩戴照相机本体1使得电池单元90位于靠近用户的背侧并且摄像/检测单元10位于靠近用户身体的前侧的情况下，摄像/检测单元10由分别连接到摄像/检测单元10的左端和右端的左侧连接构件80L和右侧连接构件80R以在朝向胸部的方向上施力的状态被支撑。由此，摄像/检测单元10位于用户的锁骨前方。此时，面部方向检测窗13位于用户的颌下方。在面部方向检测窗13的内部布置有后面所述的图2E所示的红外聚光透镜26。红外聚光透镜26的光轴(检测光轴)指向用户的面部，并且指向与摄像镜头16的光轴(摄像光轴)不同的方向。包括红外聚光透镜26的面部方向检测单元20(参见图5)基于面部部位的位置来检测用户的观察方向(面部方向)(面部方向检测步骤)。这使得后面所述的摄像单元40能够在观察方向上拍摄被摄体的图像。后面将说明由于体形的个体差异和服装的差异而引起的设置位置的调整。

此外，由于以这种方式摄像/检测单元10布置在身体的前侧并且电池单元90布置在背面，因此使照相机本体1的重量分散，这减轻了用户的疲劳并且减少了因由用户的移动引起的照相机本体1上的力而导致的照相机本体1的移位。

尽管在本实施例中说明了用户以摄像/检测单元10将位于用户的锁骨前方的方式佩戴照相机本体1的示例，但该示例不是必要的。也就是说，用户可以将照相机本体1佩戴在用户身体部位的除头部以外的任何位置，只要照相机本体1可以检测到用户的观察方向并且摄像单元40可以在观察方向上拍摄被摄体的图像即可。

图1C是从图1A中的后侧看到的电池单元90的图。如图1C所示，电池单元90设置有充电线缆插入槽91、调整按钮92L和92R、以及脊骨避开切口93。

充电线缆(未示出)可以连接到充电线缆插入槽91。外部电源通过充电线缆对内部电池4L和94R(参见图3A)进行充电并向摄像/检测单元10供给电力。

调整按钮92L和92R用于调整左侧连接构件80L的带部82L和右侧连接构件80R的带部82R各自的长度。调整按钮92L用于调整左侧带部82L，并且调整按钮92R用于调整右侧带部82R。在本实施例中，尽管利用调整按钮92L、92R独立地调整带部82L和82R的长度，但可以利用一个按钮同时调整带部82L和82R的长度。

脊骨避开切口93是通过使电池单元90成形、使得电池单元90将不会接触脊骨所形成的。由于脊骨避开切口93避开身体的脊骨的凸部，因此减轻了佩戴的不适感并且防止了电池单元90的横向移位。

图1D是示出与照相机本体1分开的作为根据第一实施例的便携式装置的显示设备800的外观图。如图1D所示，显示设备800设置有A按钮802、显示单元803、B按钮804、内置照相机805、面部传感器806、角速度传感器807和加速度传感器808。此外，显示设备800设置有使得能够与照相机本体1进行高速连接的无线LAN单元(图1D中未示出)。

A按钮802具有显示设备800的电源按钮的功能。显示设备800通过长按A按钮802来接收接通/断开(ON/OFf)操作，并且通过短按A按钮802来接收另一处理定时的指定。

显示单元803是显示控制单元，该显示控制单元可以显示照相机本体1所拍摄到的图像(鱼眼图像和广角图像)以由用户检查，并且可以显示设置所需的菜单画面以由用户检查。在本实施例中，设置在显示单元803的表面上的透明触摸传感器接收对正在显示的画面(例如，菜单画面)的触摸操作。

B按钮804用作后面所述的校准处理所使用的校准按钮854。内置照相机805可以拍摄正在观察显示设备800的人的图像。

面部传感器806检测正在观察显示设备800的人的面部形状和观察方向。面部传感器806的具体结构不受限制。例如，可以采用结构光学传感器、ToF(飞行时间)传感器和毫米波雷达。

由于角速度传感器807内置在显示设备800中，因此角速度传感器807作为立体图的含义由点线示出。由于本实施例的显示设备800还设置有后面所述的校准器的功能，因此安装了使得能够在X、Y和Z方向进行检测的三轴陀螺仪传感器。加速度传感器808检测显示设备800的姿势。

应当注意，采用一般智能电话作为根据本实施例的显示设备800。本实施例的照相机系统通过将智能电话中的固件与照相机本体1的固件匹配来实现。另一方面，本实施例的照相机系统可以通过将照相机本体1的固件与作为显示设备800的智能电话的应用和OS匹配来实现。

图2A至图2F是详细说明摄像/检测单元10的图。在从图2A起的图中，具有与已经说明的部分相同的功能的组件由相同的附图标记表示，并且省略了该组件在本说明书中的说明。

图2A是示出摄像/检测单元10的前视图。

右侧连接构件80R具有带部82R、以及用于保持相对于摄像/检测单元10的角度的硬质材料的角度保持构件81R。左侧连接构件80L类似地具有带部82L和角度保持构件81L。

图2B是示出左侧连接构件80L的带部82L和右侧连接构件80R的带部82R的形状的图。在图2B中，将角度保持构件81L和81R示出为透明构件以示出带部82L和82R的形状。

带部82L设置有在用户佩戴照相机本体1时布置在用户身体的左侧(图2B中的右侧)的左侧连接面83L和电缆84。带部82R设置有在用户佩戴照相机本体1时布置在用户身体的右侧(图2B中的左侧)的右侧连接面83R。

左侧连接面83L与角度保持构件81L连接，并且其截面形状是椭圆形而不是正圆。右侧连接面83R也具有类似的椭圆形形状。右侧连接面83R和左侧连接面83L以倒V字状两侧对称地布置。也就是说，在图2B中，右侧连接面83R和左侧连接面83L之间的距离从下侧朝向上侧变短。由此，由于在用户悬挂照相机本体1的情况下、左侧连接面83L和右侧连接面83R的长轴方向与用户的身体匹配，因此带部82L和82R舒适地接触用户的身体，并且可以防止摄像/检测单元10在左右方向和前后方向上的移动。

电缆(电力供给构件)84布线在带部82L内部，并且电连接电池单元90和摄像/检测单元10。电缆84将电池单元90的电源连接到摄像/检测单元10，或者与外部设备传送电信号。

图2C是示出摄像/检测单元10的后视图。图2C示出与用户身体接触的一侧。也就是说，图2C是从图2A的相对侧看到的图。因此，右侧连接构件80R和左侧连接构件80L之间的位置关系与图2A相反。

摄像/检测单元10在背侧设置有电源开关11、摄像模式开关12、以及胸部接触垫18a和18b。电源开关11用于对照相机本体1的电源的接通/断开进行切换。尽管本实施例的电源开关11是滑动杆型，但其不限于此。例如，电源开关11可以是推按型开关，或者可以是与摄像镜头16的滑动盖(未示出)一体构成的开关。

摄像模式开关(改变构件)12用于改变摄像模式，即用于改变与摄像操作有关的模式。在本实施例中，摄像模式开关12可以从静止图像模式、视频图像模式和以下所述的使用显示设备800所设置的预设模式中选择摄像模式。在本实施例中，摄像模式开关12是可以选择图2C所示的“照片”、“正常”和“预设”其中之一的滑动杆开关。摄像模式通过滑动到“照片”转变为静止图像模式，通过滑动到“正常”转变为视频图像模式，并且通过滑动到“预设”转变为预设模式。应当注意，摄像模式开关12的配置不限于本实施例，只要开关可以改变摄像模式即可。例如，摄像模式开关12可以由“照片”、“正常”和“预设”这三个按钮组成。

在对摄像/检测单元10施力时，胸部接触垫(固定构件)18a和18b触摸用户的身体。如图2A所示，摄像/检测单元10被形成为使得在佩戴照相机本体1时横向(左右)总长度将变得比垂直(上下)总长度长。胸部接触垫18a和18b分别布置在摄像/检测单元10的右端和左端附近。这种布置减少了照相机本体1的摄像操作期间的左右方向上的转动模糊。此外，胸部接触垫18a和18b防止电源开关11和摄像模式开关12触摸用户的身体。此外，胸部接触垫18a和18b即使在摄像/检测单元10由于长时间摄像操作而变热的情况下也防止向用户身体的热传递，并且用于调整摄像/检测单元10的角度。

图2D是示出摄像/检测单元10的顶视图。如图2D所示，在摄像/检测单元10的顶面的中央部设置有面部方向检测窗13，并且胸部接触垫18a和18b从摄像/检测单元10突出。

图2E是示出布置在摄像/检测单元10内部和面部方向检测窗13下方的面部方向检测单元20的结构的图。面部方向检测单元20设置有红外LED 22和红外聚光透镜26。面部方向检测单元20还设置有后面所述的图5所示的红外LED点亮电路21和红外检测装置27。

红外LED 22朝向用户投射红外光23(图5)。红外聚光透镜26使在从红外LED 22投射红外光23时来自用户的反射光25(图5)成像到红外检测装置27的传感器(未示出)上。

图2F是示出从用户的左侧看到的用户佩戴照相机本体1的状态的图。

角度调整按钮85L设置在角度保持构件81L中，并且用于调整摄像/检测单元10的角度。角度调整按钮(在图2F中未示出)设置在相对的角度保持构件81R内的角度调整按钮85L的对称位置中。尽管在图2A、图2C和图2D中实际上可看见角度调整按钮，但省略了这些角度调整按钮以简化说明。

在按下角度调整按钮85L的同时在图2F中向上或向下移动角度保持构件81L时，用户可以改变摄像/检测单元10和角度保持构件81L之间的角度。右侧与左侧相同。此外，可以改变胸部接触垫18a和18b的突出角度。这两种角度改变构件(角度调整按钮和胸部接触垫)的功能可以调整摄像/检测单元10，使得不论胸部位置形状的个体差异如何都水平地保持摄像镜头16的光轴。

图3A、图3B和图3C是示出电池单元90的详情的图。图3A是示出电池单元90的部分透视后视图。

如图3A所示，左电池94L和右电池94R对称地安装在电池单元90内以保持重量平衡。这样，由于左电池94L和右电池94R相对于电池单元90的中央部对称地布置，因此实现了左右方向上的重量平衡并且防止了照相机本体1的位置移位。应当注意，电池单元90可以安装单个电池。

图3B是示出电池单元90的顶视图。同样在图3B中，电池94L和94R被示出为透明构件。如图3B所示，由于电池94L和94R对称地布置在脊骨避开切口93的两侧，因此用户可以佩戴相对较重的电池单元90而没有任何负担。

图3C是电池单元90的后视图。图3C是从触摸用户的身体的一侧看到的图，即是从图3A的相对侧看到的图。如图3C所示，脊骨避开切口93沿着用户的脊骨设置在中央。

图4是示出照相机本体1的功能框图。在下文，将使用图4来粗略地说明由照相机本体1执行的处理。后面将说明详情。

如图4所示，照相机本体1设置有面部方向检测单元20、记录方向/场角确定单元30、摄像单元40、图像提取/显像单元50、主记录单元60、发送单元70和第二控制器111。这些功能块通过控制整个照相机本体1的总体控制CPU101(图5)的控制来实现。

面部方向检测单元20(观察方向检测单元)是由上述的红外LED 22、红外检测装置27等执行的功能块。面部方向检测单元20通过检测面部方向来估计观察方向，并将该观察方向传递到记录方向/场角确定单元30。

记录方向/场角确定单元(记录方向确定单元)30通过基于面部方向检测单元20所估计的观察方向进行各种计算来确定与将从摄像单元40所拍摄到的图像中提取的位置和区域有关的信息。然后，该信息被传递到图像提取/显像单元(提取单元)50。这样，记录方向/场角确定单元30是如下的提取区域确定单元，该提取区域确定单元基于面部方向检测单元20所检测到的面部方向来确定从摄像单元40(摄像步骤)所拍摄到的鱼眼图像中提取的提取图像的提取条件。然后，提取区域确定单元(提取区域确定步骤)所确定的提取条件包括提取图像的位置和大小中的至少一个。

摄像单元40形成被摄体的广角图像并将该图像传递到图像提取/显像单元50。

图像提取/显像单元(显像单元)50通过使用从记录方向/场角确定单元30传递来的信息，在从摄像单元40传递来的图像中提取用户看着的图像(提取图像)。然后，图像提取/显像单元50对提取图像进行显像并将显像后的图像传递到主记录单元60。

主记录单元60是由主存储器103(图5)等构成的功能块，记录图像信息，并在所需定时将该图像信息传递到发送单元70。这样，主记录单元60用作保持提取图像的提取图像存储单元。

发送单元70与诸如显示设备800(图1D)、校准器850和简化显示设备900等的预定通信方无线连接，并与这些通信方进行通信。

显示设备800通过高速无线LAN(以下称为“高速无线网络”)可连接到发送单元70。在本实施例中，高速无线网络采用与IEEE802.11ax(WiFi 6)标准相对应的无线通信。另一方面，可以采用与诸如WiFi 4标准和WiFi 5标准等的其他标准相对应的无线通信。此外，显示设备800可以是针对照相机本体1所开发的专用设备，或者可以是一般智能电话、平板终端等。

另外，显示设备800可以通过小功率无线网络连接到发送单元70，可以通过高速无线网络和小功率无线网络这两者连接到发送单元70，或者可以在切换网络的同时连接到发送单元70。在本实施例中，通过高速无线网络来发送如后面所述的视频图像的图像文件那样的大量数据，并且通过小功率无线网络来发送少量数据和不需要快速发送的数据。在本实施例中，尽管将蓝牙用于小功率无线网络，但可以采用诸如NFC(近场通信)等的其他短距离无线通信。

校准器850进行照相机本体1的初始设置和单独设置，并且以与显示设备800相同的方式通过高速无线网络可连接到发送单元70。后面说明校准器850的详情。此外，显示设备800可以具有校准器850的功能。

简化显示设备900例如仅通过小功率无线网络可连接到发送单元70。尽管由于时间限制而导致简化显示设备900不能与发送单元70进行视频图像的通信，但简化显示设备900可以发送摄像开始/停止定时，并且可用于进行构图检查水平的图像检查。此外，简化显示设备900可以与显示设备800一样是针对照相机本体1所开发的专用设备，或者可以是智能手表等。

图5是示出照相机本体1的硬件结构的框图。此外，使用图1A至图1C所述的结构和功能由相同的附图标记表示，并且将省略对这些结构和功能的详细说明。

如图5所示，照相机本体1设置有总体控制CPU 11、电源开关11、摄像模式开关12、面部方向检测窗13、启动开关14、停止开关15、摄像镜头16和LED17。

照相机本体1还设置有构成面部方向检测单元20(图4)的红外LED点亮电路21、红外LED 22、红外聚光透镜26和红外检测装置27。

此外，照相机本体1设置有摄像单元40(图4)(其由摄像驱动器41、固态图像传感器42和图像信号处理电路43组成)和发送单元70(图4)(其由小功率无线通信单元71和高速无线通信单元72组成)。

在本实施例中，尽管照相机本体1具有单个摄像单元40，但照相机本体1可以具有两个或多于两个摄像单元，以拍摄3D图像或拍摄不同方向的图像。

照相机本体1设置有各种存储器，诸如大容量非易失性存储器51、内部非易失性存储器102、主存储器103等。

此外，照相机本体1设置有音频处理器104、扬声器105、振动器106、陀螺仪107、加速度传感器108和各种开关110。

以上使用图2C所述的如电源开关11那样的开关连接到总体控制CPU101。总体控制CPU 101控制整个照相机本体1。图4中的记录方向/场角确定单元30、图像提取/显像单元50和第二控制器111由总体控制CPU 101实现。

红外LED点亮电路21控制以上使用图2E所述的红外LED 22的点亮，以控制从红外LED 22指向用户的红外光23的投射。

面部方向检测窗13由可见光截止滤波器构成，该可见光截止滤波器几乎不允许可见光透过，并且充分许可属于红外区域的红外光23及其反射光25透过。红外聚光透镜26使反射光25聚光。

红外检测装置(红外检测单元)27具有检测由红外聚光透镜26聚光的反射光25的传感器。该传感器将由聚光后的反射光25形成的图像转换成传感器数据，并将该传感器数据传递到总体控制CPU 101。

如图1B所示，在用户佩戴照相机本体1的情况下，面部方向检测窗13位于用户的颌下方。因此，如图5所示，从红外LED 22投射的红外光23透过面部方向检测窗13，并且照射用户的颌附近的红外照射面24。此外，从红外照射面24反射的反射光25透过面部方向检测窗13，并被红外聚光透镜26聚光到红外检测装置27中的传感器上。

在图1A至图1C中未示出各种开关110。各种开关110用于执行与本实施例无关的功能。

摄像驱动器41包括定时生成器等，生成各种定时信号，将定时信号输出到与摄像操作有关的各部，并驱动固态图像传感器42。

固态图像传感器42将通过对通过使用图1A所述的摄像镜头16形成的被摄体图像进行光电转换所获得的信号输出到图像信号处理电路43。

图像信号处理电路43将通过对来自固态图像传感器42的信号施加箝位处理和A/D转换处理等所生成的摄像数据输出到总体控制CPU 101。

内部非易失性存储器102由闪速存储器等构成，并存储总体控制CPU 101的引导程序、以及各种程序模式的设置值。在本实施例中，记录观察视场(场角)的设置值和图像稳定处理的效果水平的设置值。

主存储器103由RAM等构成，并且暂时存储处理中的图像数据和总体控制计算机101的计算结果。

大容量非易失性存储器51存储图像数据。在本实施例中，大容量非易失性存储器51是不可拆卸的半导体存储器。然而，大容量非易失性存储器可以由如SD卡那样的可拆卸存储介质构成，并且可以与内部非易失性存储器102一起使用。

小功率无线通信单元71通过小功率无线网络与显示设备800、校准器850和简化显示设备900交换数据。高速无线通信单元72通过高速无线网络与显示设备800和校准器850交换数据。

音频处理器104处理由麦克风19L和19R收集的外部声音(模拟信号)并且生成音频信号。

为了向用户通知照相机本体1的状态并警告用户，LED 17发出光，扬声器105输出声音，并且振动器106振动。

陀螺仪107是陀螺仪传感器(角速度传感器)并且检测照相机本体1自身的移动作为陀螺仪数据。加速度传感器108检测摄像/检测单元10的姿势。

图6是示出显示设备800的硬件结构的框图。使用图1D所述的组件由相同的附图标记表示，并且将省略对这些组件的说明以简化说明。

如图6所示，显示设备800设置有显示设备控制器801、A按钮802、显示单元803、B按钮804、面部传感器806、角速度传感器807、加速度传感器808、图像信号处理电路809和各种开关811。

此外，显示设备800设置有内部非易失性存储器812、主存储器813、大容量非易失性存储器814、扬声器815、振动器816、LED 817、音频处理器820、小功率无线通信单元871和高速无线通信单元872。上述组件连接到显示设备控制器801。显示设备控制器801由CPU构成并且控制显示设备800。

图像信号处理电路809承担与照相机本体1内部的摄像驱动器41、固态图像传感器42和图像信号处理电路43等同的功能。图像信号处理电路809与内置照相机用透镜805a一起构成图1D的内置照相机805。显示设备控制器801处理从图像信号处理电路809输出的数据。后面将说明数据的处理的内容。

各种开关811用于执行与本实施例无关的功能。角速度传感器807使用陀螺仪等并且检测显示设备800的移动。

加速度传感器808检测显示设备800自身的姿势。角速度传感器807和加速度传感器808内置在显示设备800中，并且分别具有与上述的照相机本体1的陀螺仪107和加速度传感器108的功能等同的功能。

内部非易失性存储器812由闪速存储器等构成，并且存储显示设备控制器801的引导程序、以及各种程序模式的设置值。

主存储器813由RAM等构成，并且暂时存储处理中的图像数据和图像信号处理电路809的计算结果。在本实施例中，在视频图像正在记录时，将在每帧的拍摄时利用陀螺仪107检测到的陀螺仪数据与该帧相关联地存储在主存储器813中。

大容量非易失性存储器814存储显示设备800的图像数据。在本实施例中，大容量非易失性存储器814由如SD卡那样的可拆卸存储器构成。应当注意，与照相机本体1中的大容量非易失性存储器51一样，大容量非易失性存储器814可以由固定存储器构成。

为了向用户通知显示设备800的状态并警告用户，扬声器815输出声音，振动器816振动，并且LED 817发光。

音频处理器820处理由左麦克风819L和右麦克风819R收集的外部声音(模拟信号)并且生成音频信号。

小功率无线通信单元871通过小功率无线网络与照相机本体1交换数据。高速无线通信单元872通过高速无线网络与照相机本体1交换数据。

面部传感器(面部检测单元)806设置有红外LED点亮电路821和红外LED 822、红外聚光透镜826以及红外检测装置827。

红外LED点亮电路821具有与图5中的红外LED点亮电路21的功能等同的功能，并且控制红外LED 822的点亮，以控制从红外LED 822指向用户的红外光823的投射。红外聚光透镜826使红外光823的反射光825聚光。

红外检测装置827具有检测由红外聚光透镜826聚光的反射光825的传感器。该传感器将聚光后的反射光825转换成传感器数据，并将该传感器数据传递到显示设备控制器801。

在图1D所示的面部传感器806指向用户的情况下，如图6所示，用从红外LED 822投射的红外光823照射作为用户的整个面部的红外照射面824。此外，从红外照射面824反射的反射光825由红外聚光透镜826聚光到检测装置827中的传感器上。

其他功能830是与本实施例无关的诸如电话功能等的智能电话的功能。

以下将说明如何使用照相机本体1和显示设备800。图7A是示意性示出由照相机本体1和显示设备800执行的根据第一实施例的摄像/记录处理的流程图。

为了辅助描述，在图7A中在各步骤的右侧示出执行各步骤中的处理的单元的在图4和图5中示出的附图标记。也就是说，图7A中的步骤S100至S700由照相机本体1执行，并且图7A中的步骤S800至S1000由显示设备800执行。

在电源开关11设置为接通(ON)并且照相机本体1的电源变为接通时，总体控制CPU101被激活并且从内部非易失性存储器102读取引导程序。之后，在步骤S100中，总体控制CPU 101执行在摄像操作之前进行照相机本体1的设置的准备处理。后面将使用图7B来说明准备处理的详情。

在步骤S200中，执行基于面部方向检测单元20所检测到的面部方向来估计观察方向的面部方向检测处理。后面将使用图7C来说明面部方向检测处理的详情。该处理按预定帧频执行。在步骤S300中，记录方向/场角确定单元30执行记录方向/区域确定处理。后面将使用图7D来说明记录方向/区域确定处理的详情。

在步骤S400中，摄像单元40拍摄图像并生成摄像数据。在步骤S500中，图像提取/显像单元50根据在步骤S300中确定的记录方向/场角信息从在步骤S400中生成的摄像数据提取图像，并进行对所提取的区域进行显像的记录区域显像处理。后面将使用图7E来说明记录区域显像处理的详情。

在步骤S600中，主记录单元(图像记录单元)60执行将在步骤S500中显像后的图像作为图像数据存储到主存储器103中的主记录处理。后面将使用图14来说明主记录处理的详情。

在步骤S700中，发送单元70执行向显示设备800的发送处理，该发送处理将步骤S600中主记录的图像按指定定时无线地发送到显示设备800。后面将使用图16来说明向显示设备800的发送处理的详情。

从步骤S800起的步骤由显示设备800执行。在步骤S800中，显示设备控制器801执行光学校正处理，该光学校正处理对在步骤S700中从照相机本体1传送来的图像的光学像差进行校正。后面将使用图17来说明光学校正处理的详情。

在步骤S900中，显示设备控制器801对在步骤S800中校正了光学像差的图像应用图像稳定处理。后面将使用图19来说明图像稳定处理的详情。应当注意，步骤S800和步骤S900的顺序可以颠倒。也就是说，可以预先执行图像稳定处理并且可以之后执行光学校正处理。

在步骤S1000中，显示设备控制器(视频记录单元)801执行辅助记录处理，该辅助记录处理将应用了步骤S800中的光学校正处理和步骤S900中的图像稳定处理的图像记录到大容量非易失性存储器814中。然后，显示设备控制器801结束该处理。

接着，将使用图7B至图7F和其他附图按处理的顺序详细说明图7A的各个步骤中的子例程。图7B是示出图7A的步骤S100中的准备处理的子例程的流程图。在下文，使用图2A至图2F和图5所示的组件来说明该处理。

在步骤S101中判断电源开关11是否接通。在电源关闭的情况下该处理等待。在电源变为接通的情况下，处理进入步骤S102。

在步骤S102中，判断由摄像模式开关12选择的模式。作为该判断的结果，在由摄像模式开关12选择的模式是视频图像模式的情况下，处理进入步骤S103。

在步骤S103中，从内部非易失性存储器102读取视频图像模式的各种设置值，并将这些设置值存储到主存储器103中。然后，处理进入步骤S104。视频图像模式的各种设置值包括场角设置值V_ang和图像稳定水平。在本实施例中，场角设置值V_ang被预先设置为90°。图像稳定水平从“强”、“中”和“关闭(OFF)”中选择。在步骤S104中，开始视频图像模式所用的摄像驱动器41的操作。然后，处理从该子例程退出。

作为步骤S102中的判断的结果，在由摄像模式开关12选择的模式是静止图像模式的情况下，处理进入步骤S106。在步骤S106中，从内部非易失性存储器102读取静止图像模式的各种设置值，并将这些设置值存储到主存储器103中。然后，处理进入步骤S107。静止图像模式的各种设置值包括场角设置值V_ang和图像稳定水平。在本实施例中，场角设置值V_ang被预先设置为45°。图像稳定水平从“强”、“中”和“关闭”中选择。在步骤S107中，开始静止图像模式所用的摄像驱动器41的操作。然后，处理从该子例程退出。

作为步骤S102中的判断的结果，在由摄像模式开关12选择的模式是预设模式的情况下，处理进入步骤S108。预设模式是由摄像模式开关12可以改变的三个摄像模式其中之一。在预设模式中，可以通过如显示设备800那样的外部装置来改变照相机本体1的摄像模式。也就是说，预设模式是用于自定义摄像操作的模式。由于照相机本体1是紧凑型可穿戴装置，因此在照相机本体1上没有安装用于改变高级设置值的操作开关、设置画面等。通过如显示设备800那样的外部装置来改变高级设置值。

例如，考虑用户想要以场角90°和场角110°连续地拍摄视频图像的情况。在这种情况下，需要以下操作。由于在正常的视频图像模式中场角被设置为90°，因此用户首先在正常的视频图像模式中进行视频图像拍摄操作，一旦结束该视频图像拍摄操作，就在显示设备800上显示设置画面，并且在该设置画面上将场角改变为110°。然而，在某个事件期间对显示设备800的操作是麻烦的。

另一方面，在将预设模式预设为以场角110°的视频图像拍摄操作的情况下，用户可以通过在结束以场角90°的视频图像拍摄操作之后仅将摄像模式开关12滑动到“预设”，立即将视频图像拍摄操作中的场角改变为110°。也就是说，不需要用户暂停当前操作并进行上述的麻烦操作。

应当注意，预设模式的内容除了包括场角之外，还可以包括图像稳定水平(其选自“强”、“中”和“关闭”)和在本实施例中未说明的语音识别的设置值。

在步骤S108中，从内部非易失性存储器102读取预设模式的各种设置值，并将这些设置值存储到主存储器103中。然后，处理进入步骤S109。预设模式的各种设置值包括场角设置值V_ang、以及从“强”、“中”和”关闭”中选择的图像稳定水平。

在步骤S109中，开始预设模式所用的摄像驱动器41的操作。然后，处理从该子例程退出。

之后，将使用图13来说明在步骤S103中读取的视频图像模式的各种设置值。图13是示出在照相机本体1的摄像操作之前在显示设备800的显示单元803上显示的用于设置视频图像模式的各种设置值的菜单画面的图。使用图1D所述的组件由相同的附图标记表示，并且将省略对这些组件的说明。显示单元803具有触摸面板功能，并且将在假定显示单元803通过诸如滑动操作等的触摸操作起作用的情况下进行说明。

如图13所示，菜单画面包括预览画面831、变焦杆832、记录开始/停止按钮833、开关834、电池电量指示器835、按钮836、杆837和图标显示区域838。用户可以在预览画面831上检查照相机本体1所拍摄到的图像、变焦量和场角。

用户可以通过向右或向左移动变焦杆832来改变变焦设置(场角)。本实施例说明可以从45°、90°、110°和130°中选择场角设置值V_ang的情况。另一方面，可以通过操作变焦杆832将场角设置值V_ang设置为除这四个值以外的值。

记录开始/停止按钮833是具有启动开关14的功能和停止开关15的功能这两者的拨动开关。开关834用于对图像稳定处理的“关闭”和“开启”进行切换。电池电量指示器835显示照相机本体1的电池电量。按钮836用于改变模式。

杆837用于设置图像稳定水平。在本实施例中，尽管可以将图像稳定水平设置为“强”或“中”，但可以设置另一图像稳定水平(例如，“弱”)。此外，可以以无阶段的方式设置图像稳定水平。在图标显示区域838中显示预览所用的多个缩略图标。

图7C是示出图7A的步骤S200中的面部方向检测处理的子例程的流程图。在说明该处理的详情之前，将使用图8A至图8K来说明使用红外光的面部方向检测方法。

图8A是示出从面部方向检测窗13的位置看着的用户的面部的可见光图像的图。图8A的图像与在面部方向检测窗13许可可见光透过并且可见光图像传感器被安装作为红外检测装置27的传感器的假设下由可见光图像传感器拍摄到的图像相同。

图8A的图像包括用户的锁骨上方的颈部前部201、颌的根部202、下巴203、以及包括鼻子的面部204。图8B是示出在图8A所示的用户的可见光图像中房间中的荧光灯205作为背景出现的情况的图。

在图8B的可见光图像中，出现用户周围的荧光灯205。这样，由于根据使用条件在用户的图像中出现各种背景，因此面部方向检测单元20或总体控制CPU 101从可见光图像中切出面部图像变得困难。另一方面，尽管存在通过使用AI等来切出这种图像的技术，但由于总体控制CPU 101需要具有高性能，因此该技术不适合作为便携式装置的照相机本体1。

因此，第一实施例的照相机本体1使用红外图像来检测用户的面部。由于面部方向检测窗13由可见光截止滤波器构成，因此可见光大部分不透过。因此，由红外检测装置27获得的图像不同于图8A和图8B中的图像。

图8C是示出如下红外图像的图，该红外图像是通过在红外LED 22不点亮的状态下、使图8B所示的用户和作为背景的荧光灯通过面部方向检测窗13成像到红外检测装置27的传感器上所获得的。

在图8C的红外图像中，用户的颈部和颌是暗的。另一方面，由于荧光灯205除了发出可见光之外还发出红外分量，因此荧光灯205略明亮。

图8D是示出如下图像的图，该图像是通过在红外LED 22点亮的状态下、使图8B所示的用户和作为背景的荧光灯通过面部方向检测窗13成像到红外检测装置27的传感器上所获得的。

在图8D的图像中，用户的颈部和颌是明亮的。另一方面，不同于图8C，荧光灯205周围的明度未改变。

图8E是示出通过从图8D的图像中减去图8C的图像所计算出的差图像的图。用户的面部浮现。

这样，总体控制CPU(图像获得单元)101通过计算在红外LED 22点亮的状态下在红外检测装置27的传感器上形成的图像和在红外LED 22未点亮的状态下在该传感器上形成的图像之间的差，来获得差图像(以下称为面部图像)。

本实施例的面部方向检测单元20采用通过利用红外检测装置27提取红外反射强度作为二维图像来获得面部图像的方法。红外检测装置27的传感器采用与一般图像传感器类似的结构，并且逐帧地获得面部图像。获得帧同步的垂直同步信号(以下称为V信号)由红外检测装置27生成，并被输出到总体控制CPU 101。

图9是示出红外LED 22的点亮和熄灭的定时以及相关信号的时序图。

在图9中按从上到下的顺序示出从红外检测装置27输出的V信号、从红外检测装置27的传感器输出的图像信号的H位置、从总体控制CPU 101输出到红外LED点亮电路21的IR-ON(IR-开启)信号、以及从红外检测装置27的传感器输出到总体控制CPU21的摄像数据。这四个信号的横轴的时间轴是相同的。在V信号变为高时，获得帧同步的定时以及红外LED 22的点亮和熄灭的定时。

图9示出第一面部图像获得时间段t1和第二面部图像获得时间段t2。

红外检测装置27控制传感器的操作，使得如图9所示，图像信号的H位置将与V信号同步。由于如上所述红外检测装置27的传感器采用与一般图像传感器类似的结构并且其操作是众所周知的，因此省略了控制方法的详细说明。

总体控制CPU 101与V信号同步地控制IR-ON信号在高和低之间的切换。具体地，总体控制CPU 101在时间段t1期间将低的IR-ON信号输出到红外LED点亮电路21，并且在第二时间段t2期间将高的IR-ON信号输出到红外LED点亮电路21。

在IR-ON信号的高时间段期间，红外LED点亮电路21点亮红外LED 22以向用户投射红外光23。另一方面，在IR-ON信号的低时间段期间，红外LED点亮电路21使红外LED 22熄灭。

摄像数据的纵轴表示作为反射光25的受光量的信号强度。由于在第一时间段t1期间红外LED 22熄灭，因此没有来自用户的面部的反射光并且获得如图8C所示的摄像数据。另一方面，由于在第二时间段t2期间红外LED 22点亮，因此从用户的面部产生反射光25，并且获得如图8D所示的摄像数据。因此，时间段t2中的信号强度比时间段t1中的信号强度增加了来自用户面部的反射光25。

通过从在第二时间段t2期间的摄像数据中减去在第一时间段t1期间的摄像数据，获得了图9的下部所示的面部图像。作为相减的结果，获得仅提取来自用户的面部的反射光25的分量的面部图像数据。

图7C示出包括使用图8C至图8E和图9所述的操作的步骤S200中的面部方向检测处理。

在步骤S201中，在从红外检测装置27输出的V信号变为高时，获得第一时间段t1开始的定时V1。在获得了定时V1时，处理进入步骤S202。

在步骤S202中，IR-ON信号被设置为低并且被输出到红外LED点亮电路21。由此，红外LED 22熄灭。

在步骤S203中，读取在第一时间段t1期间从红外检测装置27输出的一帧摄像数据。将该图像数据作为帧1(Frame1)暂时存储在主存储器103中。

在步骤S204中，在从红外检测装置27输出的V信号变为高时，获得第二时间段t2开始的定时V2。在获得了定时V2时，处理进入步骤S205。

在步骤S205中，IR-ON信号被设置为高并且被输出到红外LED点亮电路21。由此，红外LED 22点亮。

在步骤S206中，读取在第二时间段t2期间从红外检测装置27输出的一帧摄像数据。将该图像数据作为帧2暂时存储在主存储器103中。

在步骤S207中，IR-ON信号被设置为低并且被输出到红外LED点亮电路21。由此，红外LED 22熄灭。

在步骤S208中，从主存储器103中读取帧1和帧2，并且通过从帧2中减去帧1来计算来自与图9所示的面部图像相对应的用户的反射光25的光强度Fn。该处理通常被称为黑减法。

在步骤S209中，从光强度Fn提取喉部位置(颈部转动中心)。首先，总体控制CPU(分割单元)101基于光强度Fn将面部图像分割成将使用图8F说明的多个距离区域。

图8F是示出通过调整图8E所示的差图像的浓淡以适合投射到用户的面部和颈部的红外光23的反射光25的光强度的标度所获得的结果的图。图8F示出与用户的面部和颈部的各部位有关的光强度分布。

图8F的左侧的面部图像通过应用到各个分割区域的灰阶(gray step)示出图8E所示的面部图像中的反射光25的光强度分布。Xf轴被定向在从用户颈部的中央部朝下巴的方向上。

在图8F的右侧的曲线图中，横轴示出面部图像的Xf轴上的光强度，并且纵轴示出Xf轴。由横轴示出的光强度随着向右移动而增加。

根据光强度，将图8F的面部图像分割成六个区域(距离区域)211至216。区域211是光强度最强的区域，并且在灰阶中由白色示出。区域212是与区域211相比光强度略微下降的区域，并且在灰阶中由非常明亮的灰色示出。区域213是与区域212相比光强度进一步下降的区域，并且在灰阶中由亮灰色示出。区域214是与区域213相比光强度进一步下降的区域，并且在灰阶中由中灰色示出。区域215是与区域214相比光强度进一步下降的区域，并且在灰阶中由略深的灰色示出。区域216是光强度最弱的区域，并且在灰阶中由最深的灰色示出。区域216上方的区域由未表现出光强度的黑色示出。

将使用图10A至图10D来详细说明光强度。图10A至图10D是说明用户的面部在垂直方向上的移动的图，并且示出从用户的左侧观察到的状态。

图10A是示出用户面向正面的状态的图。在用户的锁骨前方存在摄像/检测单元10。此外，红外LED 22的红外光23从摄像/检测单元10的上部所安装的面部方向检测窗13照射用户头部的下部。从面部方向检测窗13到用户的锁骨上方的喉部200的距离Dn、从面部方向检测窗13到颌的根部202的距离Db、以及从面部方向检测窗13到下巴203的距离Dc满足Dn<Db<Dc的关系。由于光强度与距离的平方成反比，因此在由来自红外照射面24的反射光25在传感器上形成的图像中的光强度按喉部200、颌的根部202、以及下巴203的顺序逐渐变弱。此外，由于从面部方向检测窗13到包括鼻子的面部204的距离仍然长于距离Dc，因此与面部204相对应的图像中的光强度变得更弱。也就是说，在图10A所示的情况下，获得具有图8F所示的光强度分布的图像。

应当注意，面部方向检测单元20的配置不限于本实施例所示的配置，只要可以检测到用户的面部方向即可。例如，红外LED 22可以是投射红外图案的红外图案照射单元，并且红外检测装置27的传感器可以是检测从照射目标反射的红外图案的红外图案检测单元。在这种情况下，优选红外检测装置27的传感器由结构光学传感器构成。此外，红外检测装置27的传感器可以是将红外光23的相位和反射光25的相位进行比较的红外图案相位比较单元。例如，可以采用ToF(飞行时间)传感器。

接着，将使用图8G来说明图7C的步骤S209中的喉部位置的提取。通过在图8F上叠加表示图10A所示的用户身体的各部位的附图标记、示出喉部位置的双圆圈和示出下巴位置的黑色圆圈来获得图8G的左图像。

白色区域211与喉部200(图10A)相对应，非常明亮的灰色区域212与颈部前部201(图10A)相对应，并且亮灰色区域213与颌的根部202(图10A)相对应。此外，中灰色区域214与下巴203(图10A)相对应，并且略深的灰色区域215与位于面部204(图10A)的下部中的唇部和唇部周围的面部下部相对应。此外，最深的灰色区域216与位于面部204(图10A)中央的鼻子和鼻子周围的面部上部相对应。

由于如图10A所示、距离Db和Dc之间的差与从面部方向检测窗13到用户的其他部位的其他距离之间的差相比相对较小，因此亮灰色区域213和中灰色区域214中的反射光强度之间的差也小。

另一方面，由于如图10A所示在从面部方向检测窗13到用户的各部位的距离中、距离Dn是最短距离，因此与喉部200相对应的白色区域211中的反射光强度变为最强。

因此，总体控制CPU(设置单元)101判断为区域211与喉部200及其周边相对应。然后，总体控制CPU 101将位于区域211的横向方向上的中心且离摄像/检测单元10最近的喉部位置206(其在图8G中由双圆圈表示)设置为颈部转动中心的位置。直到此刻为止的处理是在图7C的步骤S209中进行的内容。

接着，将使用图8G来说明图7C的步骤S210中的下巴位置的提取。在图8G的图像中，比与包括面部204的唇部的面部下部相对应的区域215明亮的中灰色区域214包括下巴。图8G的右侧的曲线图示出：由于相对于面部方向检测窗13的距离的变化率变大，因此在与区域214相邻的区域215中光强度急剧下降。

总体控制CPU 101判断为与光强度急剧下降的区域215相邻的更明亮的区域214是下巴区域。此外，总体控制CPU 101计算(提取)位于区域214的横向方向上的中心且离喉部位置206最远的位置(由图8G所示的黑色圆圈表示)作为下巴位置207。

例如，图8H和图8I示出使面部朝右时的变化。图8H是示出在使用户的面部朝右时通过与图8E类似的方法所计算出的差图像的图。图8I是示出如下结果的图，该结果是通过调整图8H的差图像的浓淡以适合投射到用户的面部和颈部的红外光的反射分量的光强度的标度、并且通过叠加示出作为颈部转动中心的位置的喉部位置206的双圆圈和示出下巴位置207r的黑色圆圈所获得的。

由于用户的面部朝右，因此区域214向在从摄像/检测单元10仰视时位于左侧的图8I所示的区域214r移动。与包括面部204的唇部的面部下部相对应的区域215也向在从摄像/检测单元10仰视时位于左侧的区域215r移动。

因此，总体控制CPU 101判断为与光强度急剧下降的区域215r相邻的更明亮的区域214r是下巴区域。此外，总体控制CPU 101计算(提取)位于区域214r的横向方向上的中心且离喉部位置206最远的位置(由图8I所示的黑色圆圈表示)作为下巴位置207r。

之后，控制部101求出移动角度θr，该移动角度θr表示以喉部位置206为中心、从图8G的图像中的下巴位置207起向右直到图8I的下巴位置207r为止的转动移动。如图8I所示，移动角度θr是用户的面部在横向方向上的移动的角度。

根据上述方法，在步骤S210中，根据由面部方向检测单元(三维检测传感器)20的红外检测装置27检测到的下巴位置，计算用户在横向方向上的面部的角度(以下称为面部角度)。

接着，将说明对朝上的面部的检测。图10B是示出用户使面部朝向水平方向的状态的图。图10C是示出用户使面部从水平方向朝上33°的状态的图。

在图10B中从面部方向检测窗13到下巴203的距离是Ffh，并且在图10C中从面部方向检测窗13到下巴203u的距离是Ffu。由于下巴203u与面部一起向上移动，因此如图10C所示，距离Ffu变得比距离Ffh长。

图8J是示出从面部方向检测窗13看到的、使面部从水平方向朝上33°的用户的图像的图。由于如图10C所示、用户使面部朝上，因此从位于用户的颌下方的面部方向检测窗13看不到包括唇部和鼻子的面部204。能看到下巴203及其颈部侧。图8K示出在图10C所示的状态下用红外光23照射用户时的反射光25的光强度的分布。图8K的左侧的图像是示出如下结果的图，该结果是通过调整通过与图8E相同的方法所计算出的差图像的浓淡以适合投射到用户的面部和颈部的红外光的反射分量的光强度的标度、以及通过叠加示出喉部位置206的双圆圈和示出下巴位置207u的黑色圆圈所获得的。图8K中的两个曲线图示出左图像的浓度变化。左曲线图等同于图8F中的曲线图，并且右曲线图等同于图8G中的曲线图。

通过向图8F所示的相同光强度区域的附图标记添加“u”来表示图8K中的与光强度相对应的六个区域211u、212u、213u、214u、215u和216u。尽管在图8F中用户的下巴203的光强度包括在中灰色区域214中，但在图8K中该光强度向黑色侧移动并且包括在略深的灰色区域215u中。这样，由于如图10C所示、距离Ffu比距离Ffh长，因此红外检测装置27可以检测到来自下巴203的反射光25的光强度以与距离的平方成反比的方式减弱。

接着，将说明对朝下的面部的检测。图10D是示出用户使面部从水平方向朝下22°的状态的图。在图10D中，从面部方向检测窗13到下巴203d的距离是Ffd。

由于下巴203d与面部一起向下移动，因此如图10D所示，距离Ffd变得比距离Ffh短，并且来自下巴203d的反射光25的光强度变得更强。

返回到图7C，在步骤S211中，总体控制CPU(距离计算单元)101基于由面部方向检测单元(三维检测传感器)20的红外检测装置27检测到的下巴位置的光强度来计算从下巴位置到面部方向检测窗13的距离。基于该光强度，还计算垂直方向上的面部角度。

在步骤S212中，总体控制CPU 101将在步骤S210中获得的横向方向(第一检测方向)上的面部角度和在步骤S211中获得的垂直方向(第二检测方向)上的面部角度作为用户的三维观察方向vi(“i”是任意的附图标记)存储到主存储器103中。例如，在用户正在观察正面中心的情况下，横向方向上的面部角度θh为0°并且垂直方向上的面部角度θv为0°。因此，这种情况下的观察方向vo由矢量信息[0°,0°]表示。此外，在用户正在观察右45度方向的情况下，观察方向vr由矢量信息[45°,0°]表示。

尽管在步骤S211中通过检测相对于面部方向检测窗13的距离来计算垂直方向上的面部角度，但可以通过另一方法来计算面部角度。例如，可以通过比较下巴203的光强度的变化水平来计算面部角度的变化。也就是说，可以通过将图8G的曲线图中从颌的根部202到下巴203的反射光强度的梯度CDh与图8K的曲线图中从颌的根部202到下巴203的反射光强度的梯度CDu进行比较来计算面部角度的变化。

图7D是示出图7A的步骤S300中的记录方向/区域确定处理的子例程的流程图。在说明该处理的详情之前，将首先使用图11A来说明本实施例中的作为确定记录方向和记录区域的对象的超广角图像。

在本实施例的照相机本体1中，摄像单元40使用超广角摄像镜头16来拍摄摄像/检测单元10的周边的超广角图像。可以通过提取该超广角图像的一部分来获得观察方向的图像。

图11A是示出在用户面向正面的情况下由摄像单元40拍摄到的超广角图像中所设置的目标视场125的图。

如图11A所示，可以由固态图像传感器42拍摄的像素区域121是矩形区域。此外，有效投影区域(预定区域)122是作为由摄像镜头16投影在固态图像传感器42上的鱼眼图像的圆形的半天球图像的区域。调整摄像镜头16，使得像素区域121的中心将与有效投影区域122的中心一致。

圆形的有效投影区域122的最外周示出FOV(视野)角为180°的位置。在用户正在看着垂直方向和水平方向这两者的中心的情况下，所拍摄到并记录的目标视场125的角度范围变为以有效投影区域122的中心为中心的90°(FOV角的一半)。应当注意，本实施例的摄像镜头16还可以引入有效投影区域122外侧的光，并且可以将在最大FOV角192°内的光投影到固态图像传感器42上作为鱼眼图像。然而，在有效投影区域122外的区域中光学性能大大下降。例如，分辨率急剧下降，光量下降，并且失真增加。因此，在本实施例中，仅从有效投影区域122上所显示的半天球图像内的投影在像素区域121中的图像(以下简称为超广角图像)的内部提取出观察方向的图像作为记录区域。

由于有效投影区域122在垂直方向上的大小比像素区域121的短边的大小大，因此在本实施例中，有效投影区域122中的图像的上端和下端在像素区域121之外。然而，各个区域之间的关系不限于此。例如，光学系统可被设计成使得通过改变摄像镜头16的配置，整个有效投影区域122将包括在像素区域121中。无效像素区域123是像素区域121中的未包括在有效投影区域122中的部分。

目标视场125示出将从超广角图像提取的用户的观察方向的图像的区域。目标视场125是由以观察方向为中心的左右上下的场角(在这种情况下为45°、FOV角为90°)规定的。在图11A的示例中，由于用户面向正面，因此目标视场125的中心变为与有效投影区域122的中心一致的观察方向vo。

图11A所示的超广角图像包括作为儿童的A被摄体131、示出作为A被摄体的儿童正尝试登上的台阶的B被摄体132、以及作为机车型游乐场设备的C被摄体133。

接着，在图7D中示出为了从使用图11A所述的超广角图像获得观察方向的图像而执行的图7A的步骤S300中的记录方向/区域确定处理。在下文，使用示出目标视场125的具体示例的图12A至图12G来说明该处理。

在步骤S301中，通过从主存储器103读取来获得预先设置的场角设置值V_ang。

在本实施例中，内部非易失性存储器102存储所有可用的场角(45°、90°、110°和130°)作为场角设置值V_ang。图像提取/显像单元50从超广角图像中提取由场角设置值V_ang定义的区域中的观察方向的图像。此外，建立了在图7B的步骤S103、S106和S108其中之一中从内部非易失性存储器102读取的各种设置值中所包括的场角设置值V_ang，并将其存储在主存储器103中。

此外，在步骤S301中，将在步骤S212中确定的观察方向vi确定为记录方向，从超广角图像中提取目标视场125中的图像，并将所提取的图像存储在主存储器103中，其中该目标视场125的中心由观察方向vi来指定并且该目标视场125的区域由所获得的场角设置值V_ang来限定。

例如，在场角设置值V_ang为90°、并且通过面部方向检测处理(图7C)检测到观察方向vo(矢量信息[0°,0°])的情况下，以有效投影区域122的中心O为中心建立了角宽度为左右45°和上下45°的目标视场125(图11A)。图11B是示出从图11A的超广角图像提取的目标视场125中的图像的图。也就是说，总体控制CPU(相对位置设置单元)101将由面部方向检测单元20检测到的面部方向的角度设置为作为表示目标视场125相对于超广角图像的相对位置的矢量信息的观察方向vi。

在观察方向vo的情况下，由于由摄像镜头16引起的光学失真的影响大部分被忽略，因此所建立的目标视场125的形状与在后面所述的步骤S303中对失真进行转换之后的目标视场125o(图12A)的形状几乎相同。在下文，在观察方向vi的情况下对失真进行转换之后的目标视场被称为目标视场125i。

接着，在步骤S302中，通过从主存储器103读取来获得预先设置的图像稳定水平。

在本实施例中，如上所述，建立了在步骤S103、S106和S108其中之一中从内部非易失性存储器102读取的各种设置值中所包括的图像稳定水平，并且将其存储在主存储器103中。

此外，在步骤S302中，基于所获得的图像稳定水平来设置图像稳定裕量像素数P_is。

在图像稳定处理中，基于摄像/检测单元10的模糊量来获得在与模糊方向相反的方向上移动的图像。因此，在本实施例中，在目标视场125i周围建立了图像稳定所需的图像稳定裕量。

此外，在本实施例中，在内部非易失性存储器102中存储有将图像稳定裕量像素数P_is的值与相应图像稳定水平相关联地保持的表。例如，在图像稳定水平为“中”的情况下，在目标视场周围建立宽度是作为从上述表读取的图像稳定裕量像素数P_is的“100个像素”的图像稳定裕量。

图12E是示出在图12A所示的目标视场125o周围赋予与预定图像稳定水平相对应的图像稳定裕量的示例的图。其中，将说明图像稳定水平为“中”(即，图像稳定裕量像素数P_is是“100个像素”)的情况。

如图12E的点线所示，在目标视场125o的上下左右侧建立宽度是作为图像稳定裕量像素数P_is的“100个像素”的图像稳定裕量126o。

图12A和图12E示出观察方向vi与有效投影区域122的中心O(摄像镜头16的光轴中心)一致的情况，以简化说明。另一方面，在观察方向vi指向有效投影区域122的周边的情况下，需要用以减轻光学失真的影响的转换。

在步骤S303中，考虑到观察方向vi和摄像镜头16的光学性质来对在步骤S301中建立的目标视场125的形状进行校正(对失真进行转换)，以生成目标视场125i。类似地，还考虑到观察方向vi和摄像镜头16的光学性质来校正在步骤S302中设置的图像稳定裕量像素数P_is。

例如，场角设置值V_ang应为90°，并且用户应观察从中心o起的右45°方向。在这种情况下，在步骤S212中确定观察方向vr(矢量信息[45°,0°])，并且以观察方向vr为中心的左右45°和上下45°的区域变为目标视场125。此外，考虑到摄像镜头16的光学性质，将目标视场125校正为图12B所示的目标视场125r。

如图12B所示，目标视场125r朝向有效投影区域122的周边变得更宽。并且观察方向vr的位置相对于目标视场125r的中心稍微接近内侧。这是因为：本实施例中的摄像镜头16的光学设计接近于立体投影鱼眼镜头的光学设计。应当注意，校正的内容取决于摄像镜头16的光学设计。如果摄像镜头16被设计为等距投影鱼眼镜头、等立体角投影鱼眼镜头或正交投影鱼眼镜头，则根据其光学性质来校正目标视场125。

图12F是示出在图12B所示的目标视场125r周围赋予与图12E中的图像稳定裕量的相同图像稳定水平“中”相对应的图像稳定裕量126r的示例的图。

在宽度是作为图像稳定裕量像素数P_is的“100个像素”的目标视场125o的左右上下侧建立了图像稳定裕量126o(图12E)。与此相比，校正图像稳定裕量126r(图12F)的图像稳定裕量像素数P_is以朝向有效投影区域122的周边增加。

这样，与目标视场125r的形状一样也校正在目标视场125r周围建立的图像稳定裕量的形状，使得如图12F的图像稳定裕量126r所示，校正量将朝向有效投影区域122的周边增加。这也是因为本实施例中的摄像镜头16的光学设计接近于立体投影鱼眼镜头的光学设计。应当注意，校正的内容取决于摄像镜头16的光学设计。如果摄像镜头16被设计为等距投影鱼眼镜头、等立体角投影鱼眼镜头或正交投影鱼眼镜头，则根据其光学性质校正图像稳定裕量126r。

在步骤S303中执行的考虑到摄像镜头16的光学性质来顺次地切换目标视场125的形状及其图像稳定裕量的处理是复杂的处理。因此，在本实施例中，使用内部非易失性存储器102中所存储的针对每个观察方向vi保持目标视场125i的形状及其图像稳定裕量的表来执行步骤S303的处理。应当注意，总体控制CPU 101可以具有与摄像镜头16的光学设计相对应的计算式。在这种情况下，总体控制CPU 101可以使用该计算式来计算光学失真值。

在步骤S304中，计算图像记录框的位置和大小。如上所述，在目标视场125i周围建立图像稳定裕量126i。然而，在观察方向vi的位置接近有效投影区域122的周边的情况下，例如，如图像稳定裕量126r所示，图像稳定裕量的形状变得相当特殊。

总体控制CPU 101可以仅在这种特殊形状的区域中提取图像，并对所提取的图像应用显像处理。然而，在步骤S600中作为图像数据进行记录时或者在步骤S700中向显示设备800发送图像数据时，一般不使用非矩形的图像。因此，在步骤S304中，计算包括整个图像稳定裕量126i的矩形形状的图像记录框127i的位置和大小。

图12F利用点划线示出在步骤S304中针对图像稳定裕量126r所计算出的图像记录框127r。

在步骤S305中，将在步骤S304中计算出的图像记录框127i的位置和大小记录到主存储器103中。

在本实施例中，记录超广角图像中的图像记录框127i的左上坐标(Xi,Yi)作为图像记录框127i的位置，并且记录从坐标(Xi,Yi)开始的横向宽度WXi和垂直宽度WYi作为图像记录框127i的大小。例如，在步骤S305中记录图12F所示的图像记录框127r的坐标(Xr,Yr)、横向宽度WXr和垂直宽度WYr。应当注意，坐标(Xi,Yi)是原点为预定基准点(具体是摄像镜头16的光学中心)的XY坐标。

在这样确定了图像稳定裕量126i和图像记录框127i的情况下，处理从图7D所示的子例程退出。

在迄今为止的说明中，说明了水平角度为0°的观察方向(诸如观察方向v0(矢量信息[0°,0°])和观察方向vr(矢量信息[45°,0°])等)，以简化复杂的光学失真转换的说明。另一方面，用户的实际观察方向vi是任意的。因此，以下将说明在水平角度不是0°的情况下执行的记录区域显像处理。例如，在场角设置值V_ang为90°并且观察方向vm为[-42°,-40°]的情况下，如图12C所示，出现目标视场125m。

此外，即使当观察方向vm(矢量信息[-42°,-40°])与目标视场125m相同时，在场角设置值V_ang为45°的情况下，如图12D所示，出现比目标视场125m略小的目标视场128m。此外，如图12G所示，在目标视场128m周围建立图像稳定裕量129m和图像记录框130m。

由于步骤S400的处理是基本摄像操作并且采用摄像单元40的一般序列，因此省略其详细说明。应当注意，本实施例中的摄像单元40中的图像信号处理电路43还进行用于将从固态图像传感器42输出的固有输出格式(标准示例：MIPI、SLVS)的信号转换成一般传感器读取系统的摄像数据的处理。

在通过摄像模式开关12选择视频图像模式的情况下，摄像单元40响应于启动开关14的按下而开始记录。之后，在按下停止开关15的情况下，记录结束。另一方面，在通过摄像模式开关12选择静止图像模式的情况下，每次按下启动开关14时，摄像单元40拍摄静态图像。

图7E是示出图7A的步骤S500中的记录区域显像处理的子例程的流程图。

在步骤S501中，获得在步骤S400中由摄像单元40生成的摄像数据(超广角图像)的整个区域的原始数据，并将该原始数据输入到被称为总体控制CPU101的头单元(未示出)的摄像单元中。

接着，在步骤S502中，基于在步骤S305中记录到主存储器103中的坐标(Xi,Yi)、横向宽度WXi和垂直宽度WYi，从在步骤S501中获得的超广角图像提取图像记录框127i内的图像。在该提取之后，仅对图像稳定裕量126i内的像素执行由步骤S503至S508组成的裁剪显像处理(图7F)。与对步骤S501中读取的超广角图像的整个区域执行显像处理的情况相比，这可以显著减少计算量。因此，可以减少计算时间和电力消耗。

如图7F所示，在通过摄像模式开关12选择视频图像模式的情况下，通过相同的帧频或不同的帧频并行地执行步骤S200和S300的处理以及步骤S400的处理。每当获得由摄像单元40所生成的一帧的整个区域的原始数据时，基于该时间点主存储器103中所记录的坐标(Xi,Yi)、横向宽度WXi和垂直宽度WYi来执行裁剪显像处理。

在对图像稳定裕量126i内的像素开始裁剪显像处理的情况下，在步骤S503中执行用于对按拜耳排列布置的彩色像素的数据进行插值的颜色插值。之后，在步骤S504中调整白平衡，然后在步骤S505中执行颜色转换。在步骤S506中，进行根据预先设置的γ校正值来校正灰度的γ校正。在步骤S507中，根据图像大小进行边缘增强。

在步骤S508中，将图像数据转换成可以通过应用如压缩那样的处理来主要存储的数据格式。将转换后的图像数据存储在主存储器103中。之后，处理从该子例程退出。后面将说明可以主要存储的数据格式的详情。

在步骤S503至S508中执行的裁剪显像处理中的处理的顺序和存在可以根据照相机系统的性质来设置，并且它们没有限制本发明。此外，在选择视频图像模式的情况下，重复执行步骤S200至S500的处理，直到记录结束为止。

根据该处理，与对步骤S501中读取的整个区域执行显像处理的情况相比，计算量显著减少。因此，可以采用廉价且低功耗的微型计算机作为总体控制CPU 101。此外，总体控制CPU 101中的发热减少并且电池94的寿命变得更长。

此外，为了减轻总体控制CPU 101的控制负荷，在本实施例中，对图像的光学校正处理(图7A的步骤S800)和图像稳定处理(图7A的步骤S900)不由照相机本体1执行。在将图像传送到显示设备800之后，这些处理由显示设备控制器801执行。因此，如果仅将从所投影的超广角图像提取的部分图像的数据传送到显示设备800，则不能执行光学校正处理和图像稳定处理。也就是说，由于所提取的图像的数据不包括将代入光学校正处理的公式且将用于参考图像稳定处理的校正表的位置信息，因此显示设备800不能正确地执行这些处理。因此，在本实施例中，照相机本体1将包括与来自超广角图像的图像的提取位置有关的信息的校正数据与所提取的图像的数据一起发送到显示设备800。

在所提取的图像是静止图像的情况下，由于静止图像数据与校正数据一对一地相对应，因此即使将这些数据单独地发送到显示设备800，显示设备800也可以正确地执行光学校正处理和图像稳定处理。另一方面，在所提取的图像是视频图像的情况下，如果将视频图像数据和校正数据单独地发送到显示设备800，则难以判断视频图像数据的各帧与校正数据之间的对应关系。特别地，在照相机本体1中的总体控制CPU 101的时钟频率(clockrate)与显示设备800中的显示设备控制器801的时钟频率略微不同的情况下，在几分钟的视频图像拍摄操作期间，总体控制CPU 101和显示设备控制器801之间的同步将丢失。这可能导致显示设备控制器801用与相应校正数据不同的校正数据来校正帧的缺陷。

因此，在本实施例中，在将所提取的视频图像的数据发送到显示设备800时，照相机本体1将其校正数据适当地赋予视频图像的数据。以下说明该方法。

图14是示出图7A的步骤S600中的主记录处理的子例程的流程图。在下文，将通过还参考图15来说明该处理。图14示出通过摄像模式开关12选择视频图像模式的情况的处理。在选择静止图像模式的情况下，该处理从步骤S601开始，并且在步骤S606的处理之后结束。

在步骤S601a中，总体控制CPU 101从在记录区域显像处理(图7E)中显像后的视频图像中读取未应用步骤S601至S606的处理的一帧的图像。此外，总体控制CPU(元数据生成单元)101生成作为所读取的帧的元数据的校正数据。

在步骤S601中，总体控制CPU 101将与步骤S601a中读取的帧的图像的提取位置有关的信息附加到校正数据。该步骤中附加的信息是步骤S305中所获得的图像记录框127i的坐标(Xi,Yi)。应当注意，该步骤中附加的信息可以是示出观察方向vi的矢量信息。

在步骤S602中，总体控制CPU(光学校正值获得单元)101获得光学校正值。光学校正值是步骤S303中设置的光学失真值。可选地，光学校正值可以是与镜头光学性质相对应的校正值，诸如边缘光量校正值或衍射校正值等。

在步骤S603中，总体控制CPU 101将步骤S602中的失真转换所使用的光学校正值附加到校正数据。

在步骤S604中，总体控制CPU 101判断图像稳定模式是否有效。具体地，在预先设置的图像稳定模式是“中”或“强”的情况下，判断为图像稳定模式有效，并且处理进入步骤S605。另一方面，在预先设置的图像稳定模式为”关闭”的情况下，判断为图像稳定模式无效，并且处理进入步骤S606。在图像稳定模式为“关闭”的情况下跳过步骤S605的原因是：通过跳过步骤S605，减少了总体控制CPU 101的计算数据量和无线通信的数据量，并且可以减少照相机本体1的功耗和发热。尽管说明了图像稳定处理所使用的数据的减少，但可以减少步骤S602中作为光学校正值所获得的与边缘光量校正值有关的数据或与衍射校正值有关的数据。

在本实施例中，尽管预先通过用户对显示设备800的操作设置了图像稳定模式，但可以设置为照相机本体1的默认设置。此外，在照相机系统被配置为在将图像数据传送到显示设备800之后切换图像稳定处理的有效性的情况下，处理可以通过省略步骤S604而从步骤S603直接进入步骤S605。

在步骤S605中，总体控制CPU(移动量检测单元)101将与在步骤S601a中读取并存储在主存储器813中的帧相关联的陀螺仪数据附加到校正数据。

在步骤S606中，总体控制CPU 101用通过对在步骤S601a中读取的帧的图像数据和在步骤S601至S605中附加了各种数据的校正数据进行编码所获得的数据来更新视频文件1000(图15)。应当注意，在步骤S601a中读取视频图像的第一帧的情况下，在步骤S606中生成视频文件1000。

在步骤S607中，总体控制CPU 101判断是否读取了通过记录区域显像处理(图7E)所显像的视频图像的所有帧。在未读取所有帧的情况下，处理返回到步骤S601a。另一方面，在读取了所有的帧的情况下，处理从该子例程退出。将所生成的视频文件1000存储到内部非易失性存储器102中。除了主存储器813和内部非易失性存储器102之外，也可以将视频文件存储在大容量非易失性存储器51中。此外，执行用于将所生成的图像文件1000立即传送到显示设备800的发送处理(图7A中的步骤S700)。可以在将图像文件1000传送到显示设备800之后将其存储在主存储器813中。

在本实施例中，编码意味着将图像数据和校正数据组合成一个文件。此时，可以对图像数据进行压缩，或者可以对由图像数据和校正数据组合成的数据文件进行压缩。

图15是示出视频文件1000的数据结构的图。视频文件1000由头部分1001和帧部分1002组成。帧部分1002由如下的帧数据集组成，各帧数据集由各帧的图像和相应的帧元数据组成。也就是说，帧部分1002包括视频图像的总帧数的帧数据集。

在本实施例中，帧元数据是通过对在需要的情况下附加有提取位置(图像内位置信息)、光学校正值和陀螺仪数据的校正数据进行编码所获得的信息。然而，帧元数据不限于此。可以改变帧元数据的信息量。例如，可以根据通过摄像模式开关12选择的摄像模式来向帧元数据添加其他信息。可选地，可以删除帧元数据中的信息的一部分。

在头部分1001中记录有直到各帧的帧数据集为止的偏移值或各帧的开头地址。可选地，在头部分1001中可以存储如与视频文件1000相对应的时间和大小那样的元数据。

这样，在主记录处理(图14)中，将视频文件1000传送到显示设备800。视频文件1000包括如下的数据集，各数据集由通过记录区域显像处理(图7E)所显像的视频图像的帧及其元数据组成。因此，即使在照相机本体1中的总体控制CPU 101的时钟频率略微不同于显示设备800中的显示设备控制器801的时钟频率的情况下，显示设备控制器801也适当地对在照相机本体1中显像的视频图像应用校正处理。

在本实施例中，尽管在帧元数据中包括光学校正值，但可以将光学校正值赋予整个视频图像。

图16是示出图7A的步骤S700中的向显示设备800的发送处理的子例程的流程图。图16示出通过摄像模式开关12选择视频图像模式的情况的处理。应当注意，在选择静止图像模式的情况下，处理从步骤S702的处理开始。

在步骤S701中，判断利用摄像单元40的视频图像的摄像处理(步骤S400)是结束还是在记录中。在视频图像正在记录的情况下，顺次执行针对各帧的记录区域显像处理(步骤S500)以及主记录处理(步骤S600)中的图像文件1000的更新(步骤S606)。由于无线传输的电力负荷大，因此如果在视频图像拍摄操作期间并行地进行无线传输，则电池94需要具有大的电池容量或者需要针对发热的新措施。此外，从运算能力的观点来看，如果在视频图像拍摄操作期间并行进行无线传输，则运算负荷将变大，这需要准备高规格的CPU作为总体控制CPU 101，从而增加成本。

考虑到这些点，在本实施例中，总体控制CPU 101在视频图像拍摄操作结束之后(步骤S701中为“是”)使处理进入步骤S702，并且建立与显示设备800的无线连接。另一方面，如果本实施例的照相机系统在从电池94供给的电力方面具有裕量、并且不需要针对发热的新措施，则总体控制CPU 101可以在照相机本体1启动时或者在开始记录之前，预先建立与显示设备800的无线连接。

在步骤S702中，总体控制CPU 101通过高速无线通信单元72建立与显示设备800的连接，以将数据量大的视频文件1000传送到显示设备800。应当注意，小功率无线通信单元71用于将用于检查场角的低分辨率图像发送到显示设备800，并且用于与显示设备800交换各种设置值。另一方面，小功率无线通信单元71由于发送时间段变长而不用于视频文件1000的传送。

在步骤S703中，总体控制CPU 101将视频文件1000通过高速无线通信单元72传送到显示设备800。在发送结束时，总体控制CPU 101使处理进入步骤S704。在步骤S704中，总体控制CPU 101关闭与显示设备800的连接并从该子例程退出。

迄今为止说明了传送包括一个视频图像的所有帧的图像的一个图像文件的情况。另一方面，如果视频图像的记录时间段长于几分钟，则可以按单位时间将视频图像分割成多个图像文件。在视频文件具有图15所示的数据结构的情况下，即使将一个视频图像作为多个图像文件传送到显示设备800，显示设备800也可以在不存在与校正数据的定时间隙的情况下校正视频图像。

图17是示出图7A的步骤S800中的光学校正处理的子例程的流程图。在下文，还通过还参考图18A至图18F来说明该处理。如上所述，该处理由显示设备800的显示设备控制器801执行。

在步骤S801中，显示设备控制器(视频文件接收单元)801首先接收在向显示设备800的发送处理(步骤S700)中传送的来自照相机本体1的视频文件1000。之后，显示设备控制器(第一提取单元)801获得从所接收到的视频文件1000中提取的光学校正值。

在接下来的步骤S802中，显示设备控制器(第二提取单元)801从视频文件1000获得图像(通过视频图像拍摄操作所获得的一帧的图像)。

在步骤S803中，显示设备控制器(帧图像校正单元)801利用步骤S801中获得的光学校正值来校正步骤S802中获得的图像的光学像差，并将校正后的图像存储到主存储器813中。在光学校正时进行从步骤S802中获得的图像的提取的情况下，提取比步骤S303中确定的显像区域(目标视场125i)窄的图像区域(提取显像区域)，并且对该图像区域进行该处理。

图18A至图18F是用于说明图17的步骤S803中的应用失真校正的处理的图。

图18A是示出用户在拍摄图像时用肉眼看着的被摄体1401的位置的图。图18B是示出形成在固态图像传感器42上的被摄体1401的图像的图。

图18C是示出图18B的图像中的显像区域1402的图。显像区域1402是上述的提取显像区域。

图18D是示出通过提取显像区域1402的图像所获得的提取显像图像的图。图18E是示出通过对图18D所示的提取显像图像中的失真进行校正所获得的图像的图。由于在校正提取显像图像的失真时进行提取处理，因此图18E所示的图像的场角变得比图18D所示的提取显像图像的场角更小。

图19是示出图7A的步骤S900中的图像稳定处理的子例程的流程图。如上所述，该处理由显示设备800的显示设备控制器801执行。

在步骤S901中，显示设备控制器801从视频文件1000的帧元数据获得当前处理的帧(当前帧)的陀螺仪数据和作为紧前帧的帧(先前帧)的陀螺仪数据。此外，在步骤S901中，还获得了以下所述的步骤S902中计算出的先前帧的模糊量V_n-1 ^Det。之后，根据这些信息来计算粗略模糊量V_n ^Pre。

在步骤S902中，显示设备控制器801根据视频文件计算精细模糊量V_n ^Det。通过计算图像中的特征点从先前帧到当前帧的移动量来检测模糊量。

可以通过已知方法来提取特征点。例如，可以采用使用通过仅提取帧的图像的亮度信息所生成的亮度信息图像的方法。该方法从原始亮度信息图像中减去使原始亮度信息图像移位了一个或数个像素的图像。提取出差的绝对值超过阈值的像素作为特征点。此外，可以提取出如下的边缘作为特征点，该边缘是通过从原始亮度信息图像中减去通过向上述亮度信息图像应用高通滤波器所生成的图像而提取的。

在使当前帧和先前帧的亮度信息图像移位了一个或数个像素的情况下，多次计算差。通过计算特征点的像素处的差减小的位置来获得移动量。

由于如后面所述需要多个特征点，因此优选将当前帧和先前帧的各个图像分割成多个块，并且针对各块提取特征点。块分割取决于图像的像素数和宽高比。一般而言，4*3的12个块或9*6的54个块是优选的。在块数太少的情况下，不能正确地校正由于照相机本体1的摄像单元40的俯仰(tilt)而引起的梯形失真和绕光轴的转动模糊等。另一方面，在块数太多的情况下，一个块的大小变小，从而缩短了相邻特征点之间的距离，这导致误差。这样，根据像素数、特征点的检测容易度、被摄体的场角等来选择最佳块数。

由于在使当前帧和先前帧的亮度信息图像移位了一个或数个像素的情况下、移动量的计算需要多次差计算，因此计算量增加。由于移动量实际上是基于粗略模糊量V_n ^Pre以及与其的偏差(像素数)来计算的，因此仅在粗略模糊量附近进行差计算，这可以显著地减少计算量。

接着，在步骤S903中，显示设备控制器801使用步骤S902中获得的精细模糊量V_n ^Det来进行图像稳定处理。然后，处理从该子例程退出。

应当注意，作为图像稳定处理的方法，已知有允许转动和平行平移的欧氏变换和仿射变换以及允许梯形校正的投影变换。

尽管欧氏变换可以校正X轴方向和Y轴方向上的移动以及转动，但欧氏变换不能校正由照相机本体1的摄像单元40在前后方向或者平摇和俯仰的方向上的照相机抖动所引起的模糊。因此，在本实施例中，使用能够校正歪斜的仿射变换来执行图像稳定处理。从用作标准的特征点的坐标(x,y)到坐标(x',y')的仿射变换由以下的式100表示。

如果检测到至少三个特征点的偏差，则可计算式100的3*3矩阵的仿射系数。然而，在所检测到的特征点相互靠近或者在直线上对齐的情况下，在远离特征点或远离直线的区域中，图像稳定处理变得不准确。因此，优选选择彼此相距远且不在直线上的要检测的特征点。因此，在检测到多个特征点的情况下，排除相互靠近的特征点，并且通过最小二乘法来对其余的特征点进行标准化。

图18F是示出通过将步骤S903的图像稳定处理应用于图18E所示的失真校正后的图像所获得的图像的图。由于在执行图像稳定处理时进行提取处理，因此图18F所示的图像的场角变得小于图18E所示的图像的场角。

可以获得通过执行这样的图像稳定处理校正了模糊的高质量图像。

以上说明了由包括在本实施例的照相机系统中的照相机本体1和显示设备800执行的一系列操作。

当用户在接通电源开关11之后通过摄像模式开关12选择视频图像模式、并且在不使面部沿垂直方向和水平方向转动的状态下观察正面时，面部方向检测单元20检测到如图12A所示的观察方向vo(矢量信息[0°,0°])。之后，记录方向/场角确定单元30从投影到固态图像传感器42上的超广角图像中提取图12A所示的目标视场125o中的图像(图11B)。

之后，当用户例如在未操作照相机本体1的状态下开始观察图11A的儿童(A被摄体131)时，面部方向检测单元20检测如图11C所示的观察方向vm(矢量信息[-42°,-40°])。之后，记录方向/场角确定单元30从摄像单元40所拍摄的超广角图像中提取目标视场125m中的图像(图11C)。

这样，在步骤S800和S900中，显示设备800对根据观察方向所提取的形状的图像应用光学校正处理和图像稳定处理。由此，即使照相机本体1的总体控制CPU 101的规格低，也将目标视场125m(图11C)中的明显失真的图像转换成如图11D所示的校正了模糊和失真的以儿童(A被摄体)131为中心的图像。也就是说，即使用户除了接通电源开关11并利用摄像模式开关12选择模式以外没有触摸照相机本体1，用户也能够获得在自身的观察方向上拍摄到的图像。

以下将说明预设模式。由于如上所述照相机本体1是紧凑型可穿戴装置，因此在照相机本体1上未安装用于改变高级设置值的操作开关、设置画面等。因此，在本实施例中，使用作为外部装置的显示设备800的设置画面(图13)来改变照相机本体1的高级设置值。

例如，考虑用户想要在连续拍摄视频图像期间将场角从90°改变到45°的情况。在这种情况下，需要以下操作。由于在正常的视频图像模式中场角被设置为90°，因此用户在正常的视频图像模式中进行视频图像拍摄操作，一旦结束视频图像拍摄操作就在显示设备800上显示照相机本体1的设置画面，并且在该设置画面上将场角改变为45°。然而，在连续摄像操作期间对显示设备800的该操作是麻烦的，并且可能错过用户想要拍摄的图像。

另一方面，在将预设模式预设为以45°的场角的视频图像拍摄操作的情况下，用户可以通过在结束以90°的场角的视频图像拍摄操作之后仅将摄像模式开关12滑动到“预设”，来立即改变为以45°的场角的放大视频图像拍摄操作。

预设模式的内容除了可以包括场角之外，还可以包括图像稳定水平(“强”、“中”或”关闭”)、以及在本实施例中未说明的语音识别的设置值。

例如，当用户在先前摄像情形下连续观察儿童(A被摄体)131期间将摄像模式开关12从视频图像模式切换到预设模式时，场角设置值V_ang从90°改变为45°。在这种情况下，记录方向/场角确定单元30从摄像单元40所拍摄到的超广角图像中提取图11E中由点线框示出的目标视场128m中的图像。

同样在预设模式中，在步骤S800和S900中在显示设备800中进行光学校正处理和图像稳定处理。由此，即使照相机本体1的总体控制CPU 101的规格低，也获得如图11F所示的校正了模糊和失真的以儿童(A被摄体131)为中心的放大图像。尽管说明了在视频图像模式中场角设置值V_ang从90°改变为45°的情况，但静止图像模式中的处理是类似的。此外，视频图像的场角设置值V_ang为90°且静态图像的场角设置值V_ang为45°的情况也是类似的。

这样，用户能够通过仅用照相机本体1的摄像模式开关12切换模式来获得拍摄自身的观察方向的放大图像。

在本实施例中，尽管说明了在照相机本体1中面部方向检测单元20和摄像单元40一体地构成的情况，但配置不限于此，只要面部方向检测单元20佩戴在用户的除头部以外的身体上并且摄像单元40佩戴在用户的身体上即可。例如，本实施例的摄像/检测单元10可以佩戴在肩部或腹部上。然而，在摄像单元40佩戴在右肩上的情况下，左侧的被摄体被头部遮挡。在这种情况下，优选在包括左肩的部位佩戴多个摄像单元。

在下文，将说明第二实施例。用户可能想要根据用户的移动和面部方向的变化程度来改变将从鱼眼图像中提取并存储的提取图像的位置和大小。例如，在用户向右转的情况下，用户的视线在面部方向的改变之前变化。也就是说，在许多情况下，用户看着比面部方向略向右的方向。在这种情况下，优选通过记录比所检测到的面部方向靠右的图像来获得用户实际正在看着的图像。此外，在用户难以通过扭腰来改变身体的方向的情况下(例如，在用户正在跑步的情况下)，用户有可能在视场的端部处捕捉到要记录的被摄体。在这种情况下，优选记录被摄体布置在中央附近的图像。

在本实施例中，照相机本体1被构造成使得将根据用户的移动和面部方向的变化程度来校正记录方向(提取图像的位置)和记录区域(提取图像的大小)。在下文，说明该配置和效果。

图20是示出根据第二实施例的记录方向/记录区域校正处理的流程图。由于总体控制CPU 101运行内部非易失性存储器102中所存储的程序，因此实现了该流程图中的各处理。该程序使得总体控制CPU 101(计算机)能够使照相机本体1的各部和各单元操作和起作用。

在步骤S2001中，总体控制CPU 101首先基于步骤S212中记录的示出面部方向的方向矢量来计算记录方向和记录区域。应当注意，步骤S2001的处理与步骤S300的处理类似。

接着，在步骤S2002中，总体控制CPU 101判断观察方向是否正在变化。例如，通过比较作为历史保持的过去数次的观察方向的检测结果之间的变化量，可执行与观察方向是否正在变化有关的判断。

例如，时刻t处的观察方向应是vm[h(t),v(t)]，并且时刻t-1处的观察方向应是vn[h(t-1),v(t-1)]。在这种情况下，通过h(t)-h(t-1)求出从时刻t-1到时刻t的观察方向在水平方向(左右方向)上的变化量。然后，在该变化量在一定时间段内保持正值的情况下，判断为观察方向正在向右变化。另一方面，在变化量在一定时间段期间保持负值的情况下，判断为观察方向正在向左变化。

类似地，通过v(t)-v(t-1)求出从时刻t-1到时刻t的观察方向在水平方向(上下方向)上的变化量。然后，在该变化量在一定时间段内保持正值的情况下，判断为观察方向正在向上变化。另一方面，在变化量在一定时间段期间保持负值的情况下，判断为观察方向正在向下变化。

此外，绝对值|h(t)-h(t-1)|应是在观察方向水平地变化时的面部的速度。绝对值|v(t)-v(t-1)|应是在观察方向垂直地变化时的面部的速度。

这样，在本实施例中，总体控制CPU 101用作检测用户的面部的垂直移动和水平移动中的至少一个的面部移动检测单元(面部移动检测步骤)。

然后，作为步骤S2002中的判断的结果，在总体控制CPU 101判断为观察方向(面部方向)正在变化的情况下，处理进入步骤S2003。另一方面，作为步骤S2002中的判断的结果，在总体控制CPU 101判断为观察方向(面部方向)没有正在变化的情况下，处理进入步骤S2004。

在步骤S2003中，总体控制CPU 101(记录方向/场角确定单元30)校正步骤S2001中计算出的记录方向(即，提取图像的位置)。通过参考图21A至图21D来说明记录方向的校正。

图21A是示出超广角图像(鱼眼图像)的示例的图。像素区域2401是可以由固态图像传感器42拍摄的矩形区域。有效投影区域2402是由摄像镜头16投影到固态图像传感器42的鱼眼投影区域。有效投影区域2402的最外周示出FOV角为180°的位置。无效像素区域2403是像素区域2401中的未包括在有效投影区域2402中的部分。此外，被摄体2404示出儿童，被摄体2405示出台阶，被摄体2406示出游乐场设备，并且被摄体2407示出鸟。

图21B是示出在用户面向正面的情况下从超广角图像中提取的区域(提取图像)的图。如图21B所示，在用户面向正面的情况下，用户的观察方向2411变为vo＝[0°,0°]并且与有效投影区域2402的中心点一致。提取区域(提取图像)2412是在校正之前由以面部的观察方向2411为中心在四个方向(左、右、上和下)上的预设场角(在这种情况下为45°)确定的。

图21C是示出在由于在某时刻t面向正面的用户注意到被摄体2407的鸟因此该用户仰望右上方向的情况下的用户的观察方向的时间变化的图。时刻t处的用户的观察方向2411(矢量[0°,0°]，参见图21B)在时刻t+1处变化为观察方向2421(矢量[10°,10°])。此外，观察方向2411在时刻t+2处变化为观察方向2422(矢量[20°,20°])，并且在时刻t+3处变化为观察方向2423(矢量[30°,30°])。然后，在时刻t+3处，与图21B的情况一样，来自超广角图像的提取区域(提取图像)2424是由以观察方向2423为中心在四个方向上的场角45°确定的。如图21C所示，被摄体2407的鸟未包含在提取区域2424中。然而，由于用户的视线指向观察方向的略前方，因此假定在时刻t+3处被摄体2407的鸟实际上包含在用户的视场中。

因此，在步骤S2003中，校正观察方向，使得提取区域将接近用户的视场的区域。如上所述，该校正的方向是使用从时刻t到时刻t+3的面部方向的变化量确定的。在图21C的情况下，从时刻t到时刻t+3的观察方向的变化量在水平方向和垂直方向这两者上都变为正值。由此，观察方向被判断为在右上方向上变化，并且校正的方向也被确定为类似的方向。此外，校正量被确定为预定值(在这种情况下为10°)。尽管在本实施例中校正量应是预定值，但校正量的确定不限于此。例如，可以根据观察方向的变化速度来调整校正量。也就是说，高的速度可以增加校正量，并且低的速度可以减少校正量。

图21D是示出在如上所述校正观察方向的情况下的提取区域的图。通过将图21C中的观察方向2423(矢量[30°,30°])在右方向和上方向各自上校正10°来求出观察方向2431(矢量[40°,40°])。然后，提取区域(提取图像)2432是由以观察方向2431为中心在四个方向上的场角45°确定的。因此，如图21D所示，被摄体2407的鸟包含在提取区域2432的端部中。

在步骤S2003中，总体控制CPU 101(记录方向/场角确定单元30)基于观察方向(面部方向)的变化(面部移动检测单元的检测结果)来这样校正并确定作为提取区域的提取条件的记录方向。

此外，在检测到观察方向(面部方向)的变化的情况下，总体控制CPU 101(记录方向/场角确定单元30)使提取图像的位置在变化的方向上移动。由此，可以正确地获得用户想要的提取图像。

如图20所示，在步骤S2002或S2003的执行之后的步骤S2004中，总体控制CPU 101基于检测用户的移动的用户移动检测单元(用户移动检测步骤)的结果来判断用户是否正在移动。在本实施例中，例如，使用陀螺仪107或加速度传感器108作为用户移动检测单元。尽管陀螺仪107或加速度传感器108可以检测照相机本体1的移动，但由于照相机本体1在佩戴到用户身体的同时拍摄图像，因此照相机本体1的移动可以被认为是用户的移动。应当注意，也可以使用GPS(全球定位系统)传感器作为用户移动检测单元。同样在这种情况下，GPS传感器如陀螺仪107和加速度传感器108那样内置在照相机本体1中，并且照相机本体1的移动可以被认为是用户的移动。

作为步骤S2004中的判断的结果，在总体控制CPU 101判断为用户正在移动的情况下，处理进入步骤S2005。另一方面，作为步骤S2004中的判断的结果，在总体控制CPU 101判断为用户没有正在移动的情况下，处理进入步骤S2006。

在步骤S2005中，总体控制CPU 101(记录方向/场角确定单元30)校正步骤S2001中计算出的记录区域(提取区域，即提取图像)以使其变宽。通过使提取场角变宽预定量(例如，在这种情况下为10°)来进行提取区域的校正。例如，在校正之前的四个方向上的提取场角为45°的情况下，校正之后的四个方向上的提取场角变为55°。因此，新的提取区域由以观察方向为中心在四个方向上的场角55°来限定。

将通过参考图22来说明记录区域的校正的示例。图22是示出在用户面向正面的情况下的从超广角图像中的提取的图。提取区域(提取图像)2501是由以观察方向[0°,0°]为中心在四个方向上的场角45°确定的。此外，与提取区域2501一样，以观察方向[0°,0°]为中心布置提取区域(提取图像)2502。该提取区域2502在其记录区域方面被校正，并且例如是由四个方向上的场角55°确定的。如图22所示，被摄体2404的儿童位于提取区域2501的端部中，但儿童的脚尖未包含在提取区域2501中。

另一方面，被摄体2404的儿童位于比提取区域2501相比稍微更靠近记录区域被校正的提取区域2502的中央的位置。并且儿童的脚尖也包含在提取区域2502中。这样，在检测到用户的移动的情况下，总体控制CPU 101(记录方向/场角确定单元30)使记录区域(提取图像的区域)变宽。由此，用户在视场的端部处正在捕捉的被摄体可以布置在更靠近图像的中心的位置处。

在步骤S2005中，总体控制CPU 101(记录方向/场角确定单元30)基于用户的移动(用户移动检测单元的检测结果)来这样校正并确定作为提取区域的提取条件的记录区域。

此外，在检测到用户的移动的情况下，使记录区域(提取图像的区域)变宽。该配置也可应用于检测到观察方向的变化的情况。也就是说，同样在检测到观察方向的变化的情况下，记录方向/场角确定单元30可以使提取图像的区域变宽。此外，在这种情况下，用户在视场的端部处正在捕捉的被摄体可以布置在更靠近图像的中心的位置处。

如图20所示，在执行步骤S2004或S2005的处理之后，处理进入步骤S2006。在步骤S2006中，总体控制CPU 101(图像提取/显像单元50)根据由记录方向/场角确定单元30确定的提取条件从鱼眼图像中提取提取图像(提取步骤)，并记录该图像。步骤S2006的处理与步骤S400、S500和S600的处理相同。

在本实施例中，可以根据用户的移动和面部方向的变化程度来校正记录方向(提取图像的位置)和记录区域(提取图像的大小)。由此，可以获得用户想要的提取图像，并且照相机本体1的便利性提高。也就是说，摄像操作期间的摄像方向的手动改变变得不必要，并且可以在使注意力集中于体验的同时容易地获得记录该体验的图像。

接着，将说明第三实施例。可以基于在与摄像操作相同的时刻检测到的用户的观察方向来确定记录方向和记录区域。在这种情况下，存在根据各种条件记录了与用户本来想要记录的图像不同的图像的可能性。在本实施例中，可以通过以时间差使用观察方向检测结果来记录合适的记录方向上的图像。在下文，说明该配置和效果。

图23是示出根据第三实施例的记录方向确定处理的流程图。由于总体控制CPU101运行内部非易失性存储器102中所存储的程序，因此实现了该流程图中的各处理。

在步骤S2101中，总体控制CPU 101首先利用摄像单元40拍摄当前时刻t的图像(鱼眼图像)IMG(t)。接着，在步骤S2102中，总体控制CPU 101将图像IMG(t)存储到临时图像存储场所中。步骤S2001的处理与步骤S400的处理类似。应当注意，主存储器103可以用作临时图像存储场所(暂时保持鱼眼图像的广角图像存储单元)。

在步骤S2103中，总体控制CPU 101(面部方向检测单元20)计算当前时刻t的观察方向FACE(t)(面部方向存储步骤)。接着，在步骤S2104中，总体控制CPU 101将观察方向FACE(t)存储到临时观察方向存储场所中。步骤S2103的处理与步骤S200的处理类似。应当注意，主存储器103可以用作临时观察方向存储场所(暂时存储面部方向检测单元20的检测结果的面部方向存储单元)。

接着，在步骤S2105中，总体控制CPU 101判断比时刻t早了预定时间段n的时刻t-n的观察方向状态FS(t-n)(状态判断步骤)。观察方向状态包括观察方向正在左或右方向上变化的“回头看状态”和观察方向从某个方向瞬间变化为另一方向的“看向别处状态”等。

通过参考图24A和图24B来说明步骤S2105的处理。图24A示出从时刻t-5到时刻t的时间段中的水平观察方向的变化。如图24A所示，时刻t-5处的观察方向为0°(面向正面)，并且时刻t-1处的观察方向为60°(面向右)。观察方向从时刻t-5处的0°、时刻t-4处的15°、时刻t-3处的30°和时刻t-2处的45°顺次向右变化。然后，观察方向从时刻t-1起保持60°。即，观察方向在从时刻t-5到时刻t-2的时间段中不断向右变化，并且稳定在60°的位置。在这种情况下，总体控制CPU 101判断为该时间段中的该观察方向状态是“回头看状态”。

图24B示出从时刻t-5到时刻t的时间段中的垂直观察方向的变化。如图24B所示，时刻t-5处的观察方向为0°(面向正面)。观察方向从时刻t-5处的0°、时刻t-4处的-25°、时刻t-3处的-50°顺次向下变化。然后，观察方向相反地在时刻t-2处向上变化为-40°并且在时刻t-1处向上变化为-20°。在时刻t，观察方向返回到0°。在这种情况下，总体控制CPU 101判断为从时刻t-4到时刻t-1的时间段中的观察方向状态是“看向别处状态”。

优选地，判断观察方向状态是否是“看向别处状态”(即，观察方向的正常变化)的阈值时间段取决于用户。因此，该判断所使用的阈值时间段的长度可以根据用户而改变。此外，以相同的方式，判断观察方向的变化是否与“看向别处状态”相对应的阈值角度可以根据用户而改变。为了使这样的改变成为可能，在本实施例中，利用如各种开关110那样的设置部件可适当地设置用于判断观察方向(面部方向)的变化是否是临时改变(即，看向别处)的阈值时间段和阈值角度。

如上所述，在本实施例中，总体控制CPU 101用作状态判断单元，该状态判断单元用于基于由面部方向检测单元20检测到并存储在主存储器103中的检测结果来判断观察方向(用户的面部方向)的变化的状态。

在执行步骤S2105的处理之后，处理进入步骤S2106。在步骤S2106中，总体控制CPU101判断步骤S2105中所判断出的观察方向状态FS(t-n)是否是“回头看状态”。作为步骤S2106中的判断的结果，在总体控制CPU 101判断为观察方向状态是“回头看状态”的情况下，处理进入步骤S2107。另一方面，作为步骤S2106中的判断的结果，在总体控制CPU 101判断为观察方向状态不是“回头看状态”的情况下，处理进入步骤S2108。

在步骤S2107中，总体控制CPU 101基于“回头看动作”完成的时刻(时刻t-n之后的时刻)的面部方向FACE(t-n+m)来计算记录方向。步骤S2107的处理与步骤S300的处理类似。

在步骤S2108中，总体控制CPU 101判断步骤S2105中所判断出的观察方向状态FS(t-n)是否是“看向别处状态”。作为步骤S2108中的判断的结果，在总体控制CPU 101判断为观察方向状态是“看向别处状态”的情况下，处理进入步骤S2109。另一方面，作为步骤S2108中的判断的结果，在总体控制CPU101判断为观察方向状态不是“看向别处状态”的情况下，处理进入步骤S2110。

在步骤S2109中，总体控制CPU 101基于“看向别处动作”开始之前的时刻(时刻t-n之前的时刻)的面部方向状态FACE(t-n-m)来计算记录方向。步骤S2109的处理与步骤S300的处理类似。

在步骤S2110中，总体控制CPU 101基于与图像的拍摄定时相同的时刻t-n的面部方向FACE(t-n)来计算记录方向。

在步骤S2111中，总体控制CPU 101基于所计算出的记录方向将记录区域显像并记录到时刻t-n的图像IMG(t-n)。步骤S2111的处理与步骤S500和S600的处理类似。

如上所述，在判断为面部方向正在固定方向上变化的情况下，总体控制CPU 101基于面部方向的变化稳定之后的面部方向来确定提取区域(参见图24A)。此外，在判断为面部方向的变化是临时变化的情况下，总体控制CPU101基于该变化开始之前的面部方向或该变化完成之后的面部方向来确定提取区域(参见图24B)。由于这两个确定都可用，因此可以根据“回头看状态”和“看向别处状态”来适当地调整(校正)提取区域。这样当然能够进行用户想要的摄像操作。

这样，总体控制CPU 101(记录方向/场角确定单元30)可以基于状态判断单元的判断结果来选择主存储器103中所存储的面部方向中的任何面部方向，并且可以确定提取图像的提取区域。因此，在本实施例中，可以通过以时间差使用观察方向检测结果来记录合适的记录方向上的图像(即，可以拍摄到用户想要的图像)。

如上所述，在图24A的示例中，观察方向从时刻t-1起变为60°并且是稳定的。总体控制CPU 101(面部移动检测单元)可以检测观察方向的稳定性。然后，在检测到观察方向的稳定性的情况下，总体控制CPU 101(记录方向/场角确定单元30)可以逐渐增加提取图像的大小，以恢复到确定提取图像的大小之前的大小。此外，作为用户移动检测单元(陀螺仪107或加速度传感器108)的检测结果的用户的移动的稳定性也是可检测的。在检测到用户的移动的稳定性的情况下，总体控制CPU 101可以逐渐增加提取图像的大小，以恢复到确定提取图像的大小之前的大小。例如，在用户的观察方向和移动稳定的情况下，伴随该情况的图像的大小的变化可以减少。因此，将提取图像恢复到先前大小的配置在用户的观察方向和移动稳定的时间段期间是合适的。

此外，在检测观察方向的稳定性的情况下，总体控制CPU 101可以逐渐减少提取图像的位置的移动量。例如，在观察方向稳定的情况下，伴随该情况的提取图像的位置的移动也稳定，这使得能够逐渐减少该移动量。由此，可以防止提取图像的位置的无效移动。

此外，在总体控制CPU 101判断为面部方向的变化是临时变化的情况下，主记录单元60可以记录以下的两个提取图像。基于变化开始之前的面部方向或变化完成之后的面部方向来提取第一个提取图像。基于在与拍摄广角图像(鱼眼图像)的时刻相同的时刻由面部方向检测单元20检测到的面部方向来提取第二个提取图像。由于记录了这样的两个提取图像，因此用户可以在检查图像时选择这两个提取图像其中之一。

接着，将说明第四实施例。用户可以使用如显示设备800那样的装置来检查预览图像或记录中的图像。在这种情况下，如果以时间差使用观察方向检测结果，则图像的更新的反应速度可能变慢。因此，在显示设备800上显示图像的情况下，优选以时间差调控(限制)观察方向检测结果的使用。

另一方面，如果对于显示设备800上所显示的图像在无时间差的状态下使用观察方向检测结果、并且仅对于记录图像在存在时间差的状态下使用观察方向检测结果，则用显示设备800观看的图像的记录方向不同于记录图像的记录方向，这导致不自然的状态。本实施例提供减少这种不自然的状态的配置。在下文，说明该配置和效果。

图25A是示出在用户面向正面的情况下从超广角图像中提取的图像的图。通过以观察方向2903(矢量[0°,0°])为中心的四个方向(左、右、上和下)上的场角45°来提取提取区域(提取图像)2902。在用户面向正面的情况下，作为被摄体2901的显示设备未包括在提取区域2902中。

图25B示出在某个时刻t面向正面的用户使面部朝下以检查作为被摄体2901的显示设备的画面的情况下的用户的观察方向的变化。如图25B所示，在时刻t，用户正沿观察方向2903(矢量[0°,0°])看着。之后，用户在时刻t+1沿观察方向2911(矢量[0°,-10°])、在时刻t+2沿观察方向2912(矢量[0°,-20°])以及在时刻t+3沿观察方向2913(矢量[0°,-30°])看着。通过以观察方向2913为中心在四个方向(左、右、上和下)上的场角45°来提取时刻t+3处的提取区域2914。作为被摄体2901的显示设备包括在该提取区域2914中。由此，用户可以检查包括作为被摄体2901的显示设备的图像。

在时刻t+3之后，观察方向应在时刻t+4变化为矢量[0°,-20°]，在时刻t+5变化为矢量[0°,-10°]，并且最终应在时刻t+6返回到与时刻t的观察方向2903(矢量[0°,0°])等同的矢量[0°,0°]。在这种情况下，在步骤S2105的处理中，判断为观察方向状态是“看向别处状态”。因此，如果将观察方向检测结果以时间差应用于记录图像，则通过提取区域2902将提取出时刻t至时刻t+6处的所有记录图像。因此，将不记录包括作为被摄体2901的显示设备的图像。

另一方面，如上所述，用户正在检查包括作为被摄体2901的显示设备的图像。这样，如果尽管检查了包括被摄体2901的图像、但没有记录这样的图像，则用户可能感觉不自然。

结果，优选在检查预览图像或记录中的图像时在无时间差的状态下使用观察方向检测结果。图26是示出根据第四实施例的在检查预览图像时执行的记录方向确定处理的流程图。由于总体控制CPU 101运行内部非易失性存储器102中所存储的程序，因此实现了该流程图中的各处理。

在步骤S2301中，总体控制CPU 101首先判断显示设备800是否正在显示图像。显示设备800是否正在显示图像的判断是通过是否正在通过发送单元70发送图像来进行。作为步骤S2301中的判断的结果，在总体控制CPU 101判断为显示设备正在显示图像的情况下，处理进入步骤S2302。另一方面，作为步骤S2301中的判断的结果，在总体控制CPU 101判断为显示设备没有正在显示图像的情况下，处理进入步骤S2303。

在步骤S2302中，总体控制CPU 101通过在无时间差的状态下使用当前观察方向检测结果来确定记录方向。此外，在步骤S2303中，总体控制CPU 101通过以时间差使用观察方向检测结果来确定记录方向。

如上所述，在本实施例中，在用户正在使用如显示设备800那样的装置(显示控制单元)检查预览图像的情况下，在无时间差的状态下使用观察方向检测结果。也就是说，在用户正在检查预览图像的情况下，总体控制CPU 101(状态判断单元)调控观察方向的确定。

由此，由于画面上所显示的图像的记录方向可以与所记录的图像的记录方向一致，因此用户可以在不会感到不适的情况下检查预览图像。与观察方向的判断的调控一样，在用户正在检查预览图像的情况下，可以调控基于记录方向的变化(面部移动检测单元的检测结果)的记录方向(提取图像的提取区域)的校正。例如，在用户正在检查所记录的图像时，停止摄像操作。然后，由于该停止，还调控了记录方向的校正。因此，可以防止无效的校正。

接着，将说明第五实施例。如果图像的提取位置与面部方向的变化相对应地直接改变，则当面部频繁或突然移动时，该图像可能难以作为视频图像进行观看。考虑到这种情况，第三实施例示出了用于在经过了一定时间段之后确定提取位置的同时记录视频图像的方法。然而，第三实施例的配置需要可以累积一定固定时间段的视频图像的图像存储器容量。

结果，在本实施例中将说明在实时地根据用户的面部方向提取视频图像的同时生成容易观看的视频图像的配置(方法)。应当注意，在本实施例中，“提取位置”应是图像的提取中心坐标。此外，“提取区域”应是基于提取位置(提取中心坐标)和图像大小所提取的图像区域。此外，在原点是左上角、水平右方向上的坐标由h坐标表示、并且垂直下方向上的坐标由v坐标表示的二维坐标系中，时刻t处的提取位置(提取中心坐标)由(p(t),q(t))表示。

图27是示出本实施例中的图4中的图像提取/显像单元50的处理的流程图。在图27中，与图7A的步骤等同的步骤由相同的步骤编号表示，并且省略了其说明。由于总体控制CPU 101运行内部非易失性存储器102中所存储的程序，因此实现了该流程图中的各处理。

如图27所示，在步骤S200中，通过面部方向检测单元20的面部方向检测处理来检测面部方向。应当注意，面部方向检测单元20可以针对连续拍摄到的广角图像中所包括的每多个帧来检测用户的面部方向。

在步骤S1100中，由记录方向/场角确定单元30(提取位置确定单元)执行目标提取位置确定处理。在该目标提取位置确定处理中，基于面部方向检测结果(步骤S2701)和过去帧的提取位置(步骤S2702)来确定与面部方向相对应的要到达的提取位置的目标位置。

在步骤S1200中，记录方向/场角确定单元30执行提取位置确定处理。在该提取位置确定处理中，基于步骤S2702中的过去帧的提取位置和步骤S1100中所确定的目标提取位置来确定将来多个帧的提取位置。

然后，在步骤S500中，图像提取/显像单元50(提取单元)使用步骤S1200中的提取位置确定处理的结果来执行记录区域显像处理，并执行提取处理。之后，顺次执行步骤S800、S900和S1000的处理。执行这样的处理直到摄像操作完成为止(直到在步骤S2703中判断为“是”为止)。

图32是示出图27的步骤S1100中的目标提取位置确定处理的流程图。在步骤S1101中，判断面部方向检测可靠度(步骤S3201)是否高于预定阈值。“面部方向检测可靠度(可靠度)”是面部方向检测单元20所检测到的面部方向检测结果的可靠度，并且可以由面部方向检测单元20计算。

记录方向/场角确定单元30根据面部方向检测可靠度来确定相对于提取位置的移动量。作为步骤S1101中的判断的结果，在判断为面部方向检测可靠度高于预定阈值的情况下，处理进入步骤S1102。另一方面，作为步骤S1101中的判断的结果，在判断为面部方向检测可靠度不高于(即，等于或低于)预定阈值的情况下，处理进入步骤S1105。应当注意，阈值是适当地可改变和可设置的。

在步骤S1102中，基于步骤S2701中的面部方向检测结果来计算提取区域的中心坐标(即，提取位置)。

在步骤S1103中，基于步骤S1102中所获得的目标提取位置与步骤S2702中所获得的过去帧的提取位置中的先前帧的提取位置(步骤S2702a)之间的差来执行限幅处理。在限幅处理中，在提取位置与先前帧的差(移动量A)小的情况下，调控提取位置相对于先前帧的移动。也就是说，将先前帧的提取位置设置为目标提取位置以不移动提取位置。相对于先前帧的移动量A由以下的式200表示。

在移动量A等于或低于阈值的情况下，使用先前帧的提取位置作为目标提取位置。这减小了由面部方向检测结果的略微变化引起的提取位置的变化。应当注意，阈值是可适当设置的。此外，可以在向水平方向和垂直方向上的差乘以权重之后计算移动量。通过以下的式300来计算乘以了权重的移动量A。在式300中，w1表示水平方向上的权重并且w2表示垂直方向上的权重。在这种情况下，w1>w2是优选的。

在式300中权重w2被设置为小于权重w1的情况下，垂直移动被评估为较少。也就是说，确定移动量，使得与用户的面部在垂直(上下)方向上的移动相对应的提取位置的移动量将变得小于与用户的面部在水平(左右)方向上的移动相对应的提取位置的移动量。由此，可以减小与垂直移动相对应的目标提取位置的变化。在用户正在步行或说话的情况下，在许多情况下，用户的面部垂直移动。在这种情况下，面部方向检测结果往往表明面部正在垂直移动。然而，实际上，用户不是有意地垂直移动面部方向和观看方向。因此，优选减小与面部在垂直方向上的小移动相对应的提取位置的变化。

在步骤S1104中，根据鱼眼图像的摄像场角来确定目标提取位置。作为取决于鱼眼图像的摄像场角的处理，例如，存在对目标提取位置进行校正使得整个提取区域将包括在鱼眼图像中的校正处理。

在执行步骤S1101之后的步骤S1105中，判断面部方向检测可靠度是否在一定时间段以上保持低(例如，可靠度在3秒以上保持低)。作为步骤S1105中的判断的结果，在判断为可靠度在一定时间段以上保持低的情况下，处理进入步骤S1107。另一方面，作为步骤S1105中的判断的结果，在判断为可靠度没有在一定时间段以上保持低的情况下，处理进入步骤S1106。

在步骤S1107中，使目标提取位置返回到广角图像的图像中心。此外，在步骤S1106中，将目标提取位置设置为与先前目标提取位置相同的位置。

图28是示出本实施例中的处理的定时的时序图。在图28中，面部方向判断处理和提取位置确定处理的处理速度是30fps。此外，图28示出根据目标提取位置和通过关于先前帧的每帧提取位置确定处理所确定的提取位置来确定下一期间中的提取位置的状态。

图30是示出图27的步骤S1200中的提取位置确定处理的详情的流程图。如图30所示，在步骤S1201中，计算先前提取位置(步骤S2702a)和目标提取位置(步骤S1104)之间的差量以及移动方向。在目标提取位置的坐标应为(u,v)的情况下，可通过以下的式400计算先前帧的提取位置与目标提取位置之间的差量(坐标间距离)B。

在步骤S1202中，判断摄像模式(步骤S3001)是否是视频图像模式(即，视频图像是否正在记录)。作为步骤S1202中的判断的结果，在判断为视频图像正在记录的情况下，处理进入步骤S1203。另一方面，作为步骤S1202中的判断的结果，在判断为视频图像未正在记录的情况下，处理进入步骤S1204。例如，在摄像模式被设置为视频图像未正在记录的实时取景模式的情况下，判断为摄像模式不是视频图像模式。此外，还存在用于将面部方向和广角图像中的图像提取位置相关联的校准模式作为另一模式。照相机本体1被构造成使得能够选择任何模式。

在步骤S1203中，基于步骤S1201中计算出的目标提取位置和先前提取位置之间的差量来设置记录视频图像时的提取位置的移动量。图29A是示出基于记录视频图像时的先前提取位置和目标提取位置之间的差量来设置移动量的状态的曲线图。如图29A所示，在差量小(预定的固定量)的情况下，移动量没有被设置为恒定，即移动量变化。此外，在差量大于固定量的情况下，移动量被设置为恒定。这表明，在面部方向(角度)的变化大的情况下，提取位置的移动量被限制为没有变得大于固定量。因此，即使在面部方向剧烈变化的情况下，提取位置的移动速度也不会变得比所需速度快。

在执行步骤S1202之后的步骤S1204中，基于上一提取位置和目标提取位置之间的差量来设置实时取景模式中的移动量。图29B示出实时取景模式中的移动量的设置的状态(步骤S1204)。如图29B所示，实时取景模式中的移动量被设置为大于步骤S1203中设置的视频图像模式中的移动量。此外，即使在差量小的情况下，提取位置的移动量也更精细地取决于面部方向的变化。在实时取景模式中，优选图像提取位置更快速且更精确地跟随面部方向检测结果，以使得能够实时地检查图像提取位置。

在步骤S1205中，根据来自鱼眼图像的提取位置来校正记录视频图像时的提取位置的移动量。图29C是示出向移动量乘以移动量校正增益以根据从鱼眼图像(广角图像)的中心到提取位置的距离来减少该移动量的曲线图。如图29C所示，从鱼眼图像的中心到提取位置的距离越大，相乘的移动量校正增益变得越小。

在本实施例中，向从鱼眼图像中提取的区域中的图像应用以提取位置为中心的失真校正。由于在鱼眼图像的周边、图像的失真变得相对较大，因此失真校正量在该周边变大。此外，由于失真校正引起的图像质量劣化朝向鱼眼图像的周边增加。如果用户长时间观看图像质量差的图像，则用户容易识别出图像质量差。因此，优选用户观看鱼眼图像部的周边的图像的时间段被控制为尽可能短。

以这种方式，在步骤S1205中，广角图像的中央部中的由于面部方向的一定变化而引起的提取位置的移动量不同于周边部中的移动量。也就是说，周边部中的移动量与中央部中的移动量相比减少。此外，在人看着特定方向的情况下，已知在许多情况下，人首先改变面部角度并在之后的短时间段内改变身体的方向。因此，在本实施例中，可以减少长时间看着鱼眼图像的周边的机会。

此外，用以降低提取区域朝向鱼眼图像的周边的移动速度的方法适合于本实施例。此外，在本实施例中，代替减少从鱼眼图像的中央部朝向周边的移动量，可以控制移动量，使得朝向鱼眼图像的周边的移动量将变得小于朝向鱼眼图像的中央部的移动量。此外，由于在实时取景模式中需要检查图像的实时性，因此优选在实时取景模式中停止周边的移动量校正。

在步骤S1215中，根据面部方向检测可靠度来校正移动量。图29D是示出根据面部方向检测可靠度来确定移动量的状态的曲线图。如图29D所示，在面部方向检测可靠度高的情况下，增大对象帧的移动量校正增益，以提高步骤S1201至S1205中求出的提取位置的移动量的比例。另一方面，在面部方向检测可靠度低的情况下，增加先前帧的移动量校正增益，以提高在先前帧之前找到的提取位置的移动量的比例。在可靠度为中间值的情况下，不移动提取位置，即，控制为使提取位置固定。此外，可以控制成减少先前帧的提取位置的移动量。

在步骤S1220中，基于所确定的目标提取位置和移动量来确定多个帧的提取位置。具体地，关注作为连续帧的先前帧和后续帧，并且确定相对于先前帧的提取位置的移动量。然后，基于所确定的移动量和先前帧的提取位置来确定后续帧的提取位置。

图31是示出图30的步骤S1220中的多帧提取位置确定处理的流程图。如图31所示，在步骤S1221中，基于先前帧的提取位置(步骤S2702a)和步骤S1215中所求出的移动量来计算后续帧的提取位置。

在步骤S1222中，判断提取位置是否可到达目标提取位置。作为步骤S1222中的判断的结果，在判断为提取位置可到达目标提取位置的情况下，处理进入步骤1225。另一方面，作为步骤S1222中的判断的结果，在判断为提取位置不能到达目标提取位置的情况下，处理进入步骤S1223。

在步骤S1225中，将从到达目标提取位置的对象帧起的帧的提取位置设置为目标提取位置。然后，多帧提取位置确定处理结束。

在执行步骤S1222之后的步骤S1223中，将对象帧的提取位置设置为步骤S1221中计算出的提取位置。

然后，在步骤S1224中，判断针对所有帧的提取位置确定处理是否已完成。作为步骤S1224中的判断的结果，在判断为针对所有帧的提取位置确定处理已完成的情况下，多帧提取位置确定处理结束。另一方面，作为步骤S1224中的判断的结果，在判断为针对至少一帧的提取位置确定处理没有完成的情况下，处理返回到步骤S1221，并且将顺次执行从该步骤起的步骤。

如上所述，在本实施例中，基于面部方向检测单元20的检测结果来确定提取位置应到达的目标提取位置，并且确定多个帧的提取位置，使得移动量将落在预定范围内。然后，在实时地根据用户的面部方向提取视频图像的同时，创建易于观看的视频图像。通过这种配置，即使在面部频繁或突然移动的情况下，也获得易于观看的视频图像。应当注意，在本实施例中，可以确定多个帧的提取位置，使得直到到达目标提取位置为止的移动量将按等间隔变化。在这种情况下，在多个帧之间的对象帧的提取位置到达目标提取位置的情况下，优选将目标提取位置确定为从该对象帧起的帧的提取位置。这样的确定有助于创建易于观看的视频图像。

接着，将说明本实施例中的利用图4中的面部方向检测单元20的面部方向检测方法。在本实施例中，使用AI(人工智能)来检测面部方向。近年来，存在如下的已知学习模型，其中向该学习模型应用了用于在不检测诸如眼睛和鼻子等的特征点的情况下检测面部方向的机器学习(例如，深度学习)。例如在Nataniel Ruiz等人的“Fine-Grained Head PoseEstimation Without Keypoints”,CVF,2017,https://app.journal.ieice.org/trial/102_10/k102_10_987_2/index.html(搜索时间：2022年3月7日)中描述了该学习模型。然后，可通过使用学习模型基于从锁骨位置的上侧拍摄到的图像来检测面部方向。面部方向检测单元20可以通过使用ASIC或FPGA的专用处理器来实现，或者可以由总体控制CPU 101来实现。

将预先学习的参数设置到面部方向检测单元20。面部方向检测单元20可以基于面部图像和预设参数来获得示出面部方向的角度信息。检测面部方向所使用的参数的学习需要许多学习图像(教师数据)。各学习图像是面部图像和与作为正确答案的面部的垂直和水平角度有关的信息的组合。

图33A至图33C是示出学习图像的示例的示意图。然后，图33A是在面部角度为水平方向上0°和垂直方向上0°的状态下拍摄到的面部图像。图33B是在面部角度为水平方向上30°和垂直方向上0°的状态下拍摄到的面部图像。图33C是在面部角度为水平方向上0°和垂直方向上33°的状态下拍摄到的面部图像。

使用在面部方向检测范围内使面部按每10°移动的同时以各个角度拍摄到的图像(例如，100个图像)作为学习图像。例如，在面部方向检测范围覆盖水平方向上的-60°至+60°和垂直方向上的-60°至+50°的情况下，在-60°至+50°的范围内使垂直方向上的面部角度按每10°改变的同时并且保持水平方向上的面部角度恒定的同时拍摄学习图像。接着，使水平方向上的面部角度改变10°，并进行类似的摄像操作。通过在-60°到+60°的范围内重复这种摄像操作来获得学习图像。此外，为了响应各种用户和情形，需要在累积学习图像时覆盖除面部角度以外的各种条件。例如，在准备学习图像时，需要选择人类对象以覆盖所估计的用户的体格、年龄和性别。此外，需要广泛地准备学习图像，以吸收所估计的背景(诸如室内和室外等)的差异。

图34是示出使用机器学习的面部方向检测处理的流程图。由于总体控制CPU 101运行内部非易失性存储器102中所存储的程序，因此实现了该流程图中的各处理。如图34所示，在步骤S1331中，首先，由摄像单元1311拍摄面部图像。

接着，在步骤S1332中，将所拍摄的面部图像调整大小为适合于输入到面部方向检测单元20中的大小。

接着，在步骤S1333中，将步骤S1332中调整大小后的面部图像输入到面部方向检测单元20中，并且由面部方向检测单元20计算面部方向。在上述机器学习中，通常，除诸如面部方向等的处理结果之外，还计算示出处理结果的概率(准确度)的可靠度。

接着，在步骤S1334中，判断步骤S1333中计算出的可靠度是否等于或大于预定阈值。作为步骤S1334中的判断的结果，在判断为可靠度等于或大于阈值的情况下，处理进入步骤S1335。另一方面，作为步骤S1334中的判断的结果，在判断为可靠度小于阈值的情况下，处理结束。

在步骤S1335中，将步骤S1333中计算出的面部方向设置为新的面部方向(更新面部方向)。这样，在本实施例中，可使用诸如深度学习等的机器学习来检测面部方向。

接着，说明基于面部角度的提取位置的计算方法。在本说明书中，图5中的摄像镜头16应是等距投影鱼眼镜头。图35A是示出在平行于光轴的平面中的入射角与成像位置之间的关系以及在垂直于光轴的像面中的光线的入射角与成像位置之间的关系的示意图。此外，在本实施例中，如图35A所示，等距投影鱼眼镜头的场角为180°(相对于光轴为±90°)。此外，在使用该等距投影鱼眼镜头的情况下，相对于光轴的入射角θ和成像点的像高T满足关系T＝θ/90。

在下文，在描述面部的方向和角度时，在描述面部方向和面部角度之前，如图35B所示，将相对于面部方向的水平方向、垂直方向和正面方向作为坐标(x,y,z)进行说明。此外，图35C所示的面部方向R的坐标变为如下。如图35D所示，将面部方向R分成水平分量和垂直分量。水平分量和z轴(正面方向)之间的角度应为α，垂直分量和z轴之间的角度应为β，并且面部方向R在z轴方向上的坐标应为“1”。在这种情况下，面部方向R的坐标将是(tanα,tanβ,1)。因此，使用矢量的内积计算通过以下的式500来计算面部方向R和光轴方向(z轴方向(0,0,1))之间的角度Δ。

然后，通过式T＝Δ/90来求出像面中的相对于光轴的距离(即，像高T)。

另一方面，如图35E所示，面部方向R的到xy平面(像面)上的映射分量S的坐标变为(tanα,tanβ,0)，并且通过以下的式600来计算在像面中的映射分量S和x轴之间所形成的角度γ。

tanγ＝tanβ/tanα  式600

即，以光轴为中心的坐标由(r·cosγ,r·sinγ)表示，并且可以对面部角度和成像位置进行转换。

接着，将说明面部方向的变化与像面中的坐标的移动之间的关系。如图36A和图36B所示，先前提取位置应为点W，目标提取位置应为点Q，点W处的面部方向应为(α1,β1)，并且点Q处的面部方向应为(α2,β2)。点W的坐标为(tanα1,tanβ1,1)并且点Q的坐标为(tanα2,tanβ2,1)。此外，移动方向变为(tanα2-tanα1,tanβ2-tanβ1,0)。

此外，如图36C和图36D所示，使用矢量的内积计算，通过以下的式700来计算起点为原点O且各个终点为点W和Q的矢量之间的角度Δ。

图36E是示出根据先前提取位置和目标提取位置之间的差角度来确定移动量的状态的曲线图。该移动量确定处理相当于图30的步骤S1203。如图36E所示，在先前提取位置和目标提取位置之间的差角度变得大于预定值的情况下，移动量的角度被统一限制(维持移动量的角度)。在这种情况下，不论差角度如何，提取位置都以固定速度移动。

图36F是示出在提取位置朝向广角图像的周边移动的情况下(即，在高像高区域中)校正图36E所示的移动量的状态的曲线图。像高越高，移动量校正增益越小。该校正处理相当于图30的步骤S1205。

图36G是示出包括原点O、点Q和点W的平面的曲线图。图36G中的点T是z＝1的平面上的、从原点O起的垂线与连接点Q和W的线段WQ垂直相交的垂足。由于连接点O和T的线段OT与线段WQ垂直相交，因此可以根据点W和Q的坐标来计算线段OT的长度。因此，可以计算在步骤S1203和S1205中确定的将按相等的角度间隔从点W移动到点Q的提取位置。

应当注意，存在除上述方法以外的方法。例如，将移动方向分成像面中的像高的方向和圆周方向，并且在朝向高像高区域的移动量大的情况下，可以校正移动量。此外，尽管描述了本实施例使得对多个帧进行移动量的设置和与像高相对应的校正量的确定，但可以针对每个帧确定移动量和校正量。

此外，在本实施例中，尽管摄像镜头16应是等距投影鱼眼镜头，但镜头类型不限于此。例如，可以采用除等距投影鱼眼镜头以外的鱼眼镜头或者广角镜头。同样在这种情况下，可根据投影方法、场角和镜头的失真特性来计算面部方向和成像位置。

此外，在本实施例中，尽管将实时取景模式中的提取位置的移动量设置(确定)为大于视频记录模式中的提取位置的移动量，但本发明不限于此。例如，在将本实施例应用于第一实施例的校准模式的情况下，可以将校准模式中的提取位置的移动量设置(确定)为大于实时取景模式中的提取位置的移动量。由此，由于与面部方向相对应地正确显示提取位置，因此可利用更正确的校准。

接着，将说明第六实施例。在本实施例中，使用具体数值来说明在第五实施例中通过参考图35A至图35F所述的计算从鱼眼图像中提取的图像的提取位置的坐标的状态。图37A和图37B是各自示出本实施例中的作为多个帧的提取位置的计算的结果、多个帧的提取位置移动的状态的图。

如图37A和图37B所示，鱼眼图像的大小应为4000*3000个像素，当前提取位置应为(2000,1500)，目标提取位置应为(3000,1000)，并且每一帧的移动量应为25个像素。在这种情况下，目标提取位置和当前提取位置之间的变化为(1000,-500)像素。因此，图像提取位置的移动矢量的方向变为(2,-1)，并且基于25个像素的移动量和移动矢量的方向，一帧的移动量变为(22.5,-11.25)像素。此外，10帧后的提取位置变为(2225,1387)。此外，在来自后续帧的面部方向检测结果相同的情况下，44帧后的提取位置将到达目标提取位置。例如，在拍摄图像的帧频为30fps的情况下，提取位置将在约1.5秒后到达目标提取位置。

接着，将说明第七实施例。在本实施例中，与第六实施例一样，使用具体数值来说明在第五实施例中通过参考图35A至图35F所述的计算从鱼眼图像中提取的图像的提取位置的坐标的状态。图37C和图37D是各自示出本实施例中的作为多个帧的提取位置的计算的结果、多个帧的提取位置移动的状态的图。

如图37C和图37D所示，鱼眼图像的大小应为4000*3000个像素，当前提取位置应为(2000,1500)，目标提取位置应为(2100,1425)，并且每一帧的移动量应为25个像素。在这种情况下，目标提取位置和当前提取位置之间的变化为(100,-75)像素。此外，图像提取位置的移动矢量的方向变为(4,-3)，并且在移动量为25个像素的情况下，一帧的移动量变为(20,-15)像素。因此，提取位置将在五帧后变为(2100,1425)像素，并且将到达目标提取位置。其余五帧的移动量被设置为“0”。

接着，将说明第八实施例。在本实施例中，使用具体数值来说明在第五实施例中通过参考图35A至图35F所述的与面部方向相对应地计算像面中的坐标。

图38A示出在像面中大小为4000*3000个像素的鱼眼图像。鱼眼镜头的光轴中心应为(2000,1500)。鱼眼图像的从中心到像高100％的像素数应为1600个像素。此外，在水平方向上面部角度α＝45°并且在垂直方向上面部角度β＝30°的情况下，根据上述计算(参见图38B)，点R变为

并且点S变为

因此，像面(xy平面)中的成像位置相对于x轴的角度γ变为30°。面部角度(即，光线的入射角Δ)变为49°，并且像面中的像高r变为54.56％。然后，根据这些数值，将像面中的提取位置(中心坐标)计算为

(2000+0.5456·1600·cos 30°,1500-0.5456·1600·sin 30°)＝(2756,1063)(参见图38C)。如上所述，目标提取位置和提取位置可以由像面中的相对于光轴中心的角度和像高表示。

接着，将说明第九实施例。在本实施例中，使用具体数值来说明在第五实施例中通过参考图35A至图35E所述的与面部方向的变化相对应的像面中的坐标的变化。在本实施例中，与第八实施例一样，鱼眼图像的大小为4000*3000个像素，光轴中心应为(2000,1500)，并且从中心到像高100％的像素数应为1600个像素。

如图39A和图39B所示，当前提取位置的面部角度在水平方向上为α1＝45°且在垂直方向上为β1＝45°，并且目标提取位置的面部角度在水平方向上为α2＝60°且在垂直方向上为β2＝30°。在这种情况下，在图39C中示出像面中的坐标。如图39C所示，像面上的点S1的像高为60.8173％，并且其在像面上的坐标为(2688,811)。从原点O到点S1的线段与x轴之间的角度为45°。像面上的点S2的像高为68.0994％(≈68.1％)，并且其在像面上的坐标为(3034,1155)。从原点O到点S2的线段与x轴之间的角度为18.43495°(≈18.43°)。此外，如图39D和图39E所示，点W为(1,1,1)，并且点R为

如图39F所示，起点为原点O且相应终点为点R和W的矢量之间的角度Δ为23.38°，并且从点W到点R的移动方向为

因此，从原点O到线段WR的垂线的长度为1.48124，并且角度TOW为31.22°。例如，在提取位置针对每一帧移动2°的情况下，如图39G所示，十帧后的提取位置W'变为(1.60628,0.649964,1)。因此，如图39H所示，像面上的十帧后的提取位置W'的像高为66.67864％(≈66.7％)，并且其在像面上的坐标为(2923,1192)。从原点O到提取位置W'的线段与x轴之间的角度为22.03018°(≈22.03°)。图39H示出十帧后的提取位置没有到达目标提取位置的状态。

尽管在上述实施例中将超广角图像作为利用鱼眼镜头的鱼眼图像进行了说明，但通过采用广角镜头代替鱼眼镜头也可以实现这些实施例。例如，35mm换算焦距约为12mm的镜头具有120°的场角。在提取图像的场角为60°的情况下，提取位置可以在±60°的范围内改变。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2021年10月22日提交的日本专利申请2021-173015和2022年3月11日提交的日本专利申请2022-038690的优先权，这两个申请的全部内容通过引用而被包含于此。

Claims (35)

1.一种摄像设备，包括：

摄像单元，其被配置为拍摄广角图像；

面部方向检测单元，其被配置为检测用户的面部的方向；

面部移动检测单元，其被配置为检测包括面部的垂直移动和面部的水平移动的移动中的至少一个移动；

用户移动检测单元，其被配置为检测用户的移动；

提取区域确定单元，其被配置为基于所述面部方向检测单元所检测到的面部的方向以及所述面部移动检测单元和所述用户移动检测单元的检测结果，确定包括从所述广角图像中提取的提取图像的位置和大小的提取条件中的至少一个提取条件；以及

提取单元，其被配置为利用所述提取区域确定单元所确定的提取条件中的所述至少一个提取条件，从所述广角图像中提取所述提取图像。

2.根据权利要求1所述的摄像设备，其中，在所述面部移动检测单元检测到所述至少一个移动的情况下，所述提取区域确定单元使所述提取图像的位置在所述至少一个移动的方向上移动。

3.根据权利要求1或2所述的摄像设备，其中，所述面部移动检测单元能够检测所述至少一个移动的稳定性，

其中，在所述面部移动检测单元检测到所述至少一个移动的稳定性的情况下，所述提取区域确定单元逐渐减少所述提取图像的位置的移动量。

4.根据权利要求1或2所述的摄像设备，其中，在所述用户移动检测单元检测到用户的移动的情况下，所述提取区域确定单元使所述提取图像的区域变宽。

5.根据权利要求1或2所述的摄像设备，其中，在所述面部移动检测单元检测到所述至少一个移动的情况下，所述提取区域确定单元使所述提取图像的区域变宽。

6.根据权利要求1或2所述的摄像设备，其中，所述用户移动检测单元能够检测用户的移动的稳定性，

其中，在所述用户移动检测单元检测到用户的移动的稳定性的情况下，所述提取区域确定单元逐渐增加所述提取图像的大小，以恢复到所述提取区域确定单元确定所述提取图像的大小之前的大小。

7.根据权利要求1或2所述的摄像设备，其中，所述面部移动检测单元能够检测所述至少一个移动的稳定性，

其中，在所述面部移动检测单元检测到所述至少一个移动的稳定性的情况下，所述提取区域确定单元逐渐增加所述提取图像的大小，以恢复到所述提取区域确定单元确定所述提取图像的大小之前的大小。

8.根据权利要求1或2所述的摄像设备，还包括显示控制单元，所述显示控制单元被配置为将所述广角图像显示在显示单元上，

其中，在通过所述显示控制单元显示所述广角图像的情况下，所述提取区域确定单元基于所述面部移动检测单元的检测结果来调控所述提取图像的提取区域的校正。

9.根据权利要求1或2所述的摄像设备，其中，所述用户移动检测单元包括陀螺仪。

10.根据权利要求1或2所述的摄像设备，其中，所述用户移动检测单元包括GPS传感器。

11.根据权利要求1或2所述的摄像设备，其中，所述用户移动检测单元包括加速度传感器。

12.一种摄像设备，包括：

摄像单元，其被配置为拍摄广角图像；

面部方向检测单元，其被配置为检测用户的面部方向；

提取区域确定单元，其被配置为基于所述面部方向检测单元所检测到的面部方向，确定包括从所述广角图像提取的提取图像的位置和大小的提取条件中的至少一个提取条件；

提取单元，其被配置为利用所述提取区域确定单元所确定的提取条件中的所述至少一个提取条件，从所述广角图像中提取所述提取图像；

面部方向存储单元，其被配置为暂时存储所述面部方向检测单元的检测结果；以及

状态判断单元，其被配置为基于所述面部方向存储单元中所存储的所述面部方向检测单元的检测结果来判断所述面部方向的变化的状态，

其中，所述提取区域确定单元基于所述状态判断单元的判断结果来选择所述面部方向存储单元中所存储的面部方向中的任何面部方向，并且基于所选择的面部方向来确定所述提取图像的提取区域。

13.根据权利要求12所述的摄像设备，其中，在所述状态判断单元判断为所述面部方向正沿固定方向变化的情况下，所述提取区域确定单元将基于所述面部方向的变化稳定之后的面部方向来确定所述提取区域。

14.根据权利要求12或13所述的摄像设备，其中，在所述状态判断单元判断为所述面部方向的变化为暂时的情况下，所述提取区域确定单元基于所述变化开始之前的面部方向或所述变化完成之后的面部方向来确定所述提取区域。

15.根据权利要求14所述的摄像设备，还包括设置单元，所述设置单元被配置为设置在所述状态判断单元判断所述面部方向的变化是否为暂时的情况下所使用的阈值。

16.根据权利要求12、13和15中任一项所述的摄像设备，还包括提取图像存储单元，所述提取图像存储单元被配置为存储所述提取图像，

其中，在所述状态判断单元判断为所述面部方向的变化为暂时的情况下，所述提取图像存储单元存储基于所述变化开始之前的面部方向或所述变化完成之后的面部方向所提取的提取图像以及基于所述面部方向检测单元在与拍摄所述广角图像的时刻相同的时刻检测到的面部方向所提取的提取图像。

17.根据权利要求12、13和15中任一项所述的摄像设备，还包括显示控制单元，所述显示控制单元被配置为将所述广角图像显示在显示单元上，

其中，在通过所述显示控制单元显示所述广角图像的情况下，调控利用所述状态判断单元的判断。

18.根据权利要求12、13和15中任一项所述的摄像设备，还包括广角图像存储单元，所述广角图像存储单元被配置为暂时存储所述广角图像。

19.一种摄像设备，包括：

摄像单元，其被配置为连续地拍摄广角图像；

面部方向检测单元，其被配置为检测用户的面部方向；

提取位置确定单元，其被配置为确定从所述广角图像中提取的图像的提取位置；以及

提取单元，其被配置为在所述提取位置确定单元所确定的提取位置处，从所述广角图像中提取提取图像，

其中，所述提取位置确定单元基于所检测到的面部方向的变化来确定相对于先前帧的提取位置的移动量，并且基于所确定的移动量和所述先前帧的提取位置来确定后续帧的提取位置，以及其中，所述先前帧和所述后续帧是所述广角图像中所包括的连续帧。

20.根据权利要求19所述的摄像设备，其中，所述提取位置确定单元确定所述移动量，使得与用户的面部在垂直方向上的移动相对应的提取位置的移动量将变得小于与面部在水平方向上的移动相对应的提取位置的移动量。

21.根据权利要求19或20所述的摄像设备，其中，所述提取位置确定单元确定所述移动量，使得所述广角图像的周边中的移动量将不同于所述广角图像的中央部中的移动量。

22.根据权利要求21所述的摄像设备，其中，所述提取位置确定单元确定所述移动量，使得所述周边中的移动量将变得小于所述中央部中的移动量。

23.根据权利要求21所述的摄像设备，其中，所述提取位置确定单元确定所述移动量，使得朝向所述周边的移动量将变得小于朝向所述中央部的移动量。

24.根据权利要求19、20、22和23中任一项所述的摄像设备，其中，所述摄像单元利用鱼眼镜头拍摄所述广角图像，以及

其中，所述提取位置确定单元基于所述先前帧的提取位置和所述后续帧的提取位置之间的差来确定所述移动量。

25.根据权利要求24所述的摄像设备，其中，在所述差大于预定阈值的情况下，所述提取位置确定单元统一地限制所述移动量。

26.根据权利要求19、20、22、23和25中任一项所述的摄像设备，其中，所述面部方向检测单元计算所检测到的面部方向的可靠度，以及

其中，所述提取位置确定单元根据所述可靠度来确定所述移动量。

27.根据权利要求26所述的摄像设备，其中，在所述可靠度低的情况下，所述提取位置确定单元确定为减少所述先前帧的提取位置的移动量或者固定所述先前帧的提取位置。

28.根据权利要求26所述的摄像设备，其中，在所述可靠度在一定时间段以上保持低的情况下，所述提取位置确定单元将所述先前帧的提取位置返回到所述广角图像的中央部。

29.根据权利要求19、20、22、23、25、27和28中任一项所述的摄像设备，其中，所述面部方向检测单元针对所述广角图像中所包括的每多个帧检测用户的面部方向，

其中，所述提取位置确定单元基于所述面部方向检测单元的检测结果来确定所述提取位置应到达的目标提取位置，并且确定所述多个帧的提取位置，使得所述移动量将落在预定范围内。

30.根据权利要求29所述的摄像设备，其中，所述提取位置确定单元确定所述多个帧的提取位置，使得直到到达所述目标提取位置为止的移动量将按等间隔变化，以及其中，在所述多个帧中的对象帧的提取位置到达所述目标提取位置的情况下，所述提取位置确定单元将所述目标提取位置确定为从所述对象帧起的帧的提取位置。

31.根据权利要求19、20、22、23、25、27、28和30中任一项所述的摄像设备，其中，能够选择记录视频图像的视频记录模式和不记录视频图像的实时取景模式，以及

其中，所述提取位置确定单元进行确定，使得所述实时取景模式中的移动量将变得大于所述视频记录模式中的移动量。

32.根据权利要求31所述的摄像设备，其中，能够选择将面部方向与所述广角图像中的图像提取位置相关联的校准模式，以及

其中，所述提取位置确定单元进行确定，使得所述校准模式中的移动量将变得大于所述实时取景模式中的移动量。

33.一种摄像设备的控制方法，所述控制方法包括：

摄像步骤，用于拍摄广角图像；

面部方向检测步骤，用于检测用户的面部方向；

面部移动检测步骤，用于检测包括面部的垂直移动和面部的水平移动的移动中的至少一个移动；

用户移动检测步骤，用于检测用户的移动；

提取区域确定步骤，用于基于所述面部方向检测步骤中所检测到的面部的方向以及所述面部移动检测步骤和所述用户移动检测步骤的检测结果，确定包括从所述广角图像中提取的提取图像的位置和大小的提取条件中的至少一个提取条件；以及

提取步骤，用于利用所述提取区域确定步骤中所确定的提取条件中的所述至少一个提取条件，从所述广角图像中提取所述提取图像。

34.一种摄像设备的控制方法，所述控制方法包括：

摄像步骤，用于拍摄广角图像；

面部方向检测步骤，用于检测用户的面部方向；

提取区域确定步骤，用于基于所述面部方向检测步骤中所检测到的面部方向，确定包括从所述广角图像提取的提取图像的位置和大小的提取条件中的至少一个提取条件；

提取步骤，用于利用所述提取区域确定步骤中所确定的提取条件中的所述至少一个提取条件，从所述广角图像中提取所述提取图像；

面部方向存储步骤，用于暂时存储所述面部方向检测步骤的检测结果；以及

状态判断步骤，用于基于所述面部方向存储步骤中所存储的所述面部方向检测步骤的检测结果来判断所述面部方向的变化的状态，

其中，基于所述状态判断步骤的判断结果来选择所述面部方向存储步骤中所存储的面部方向中的任何面部方向，并且基于所述提取区域确定步骤中所选择的面部方向来确定所述提取图像的提取区域。

35.一种非暂时性计算机可读存储介质，用于存储控制程序，所述控制程序使计算机用作根据权利要求1至32中任一项所述的摄像设备的各单元。

Images