CN107018292B - 摄像操作引导装置以及摄像操作引导方法 - Google Patents

Abstract

本发明提供摄像操作引导装置以及摄像操作引导方法，在看丢了摄影对象物或者观察对象物时，为了找出该对象物，通过简单的结构使操作者容易知晓。该摄像操作引导方法具有以下步骤：拍摄对象物，输出图像数据(S3)；将图像数据存储为辅助图像(S5)，记录摄像时的操作履历(S5)；以及根据过去取得的图像和已记录的操作履历，确定与过去的图像和当前的差异相关的引导(S17的“是”以后)。

Description

摄像操作引导装置以及摄像操作引导方法

技术领域

本发明涉及在通过摄像装置进行摄影时，即使在难以发现对象物的情况下也能够简单地找出对象物的摄像操作引导装置和摄像操作引导方法。

背景技术

在使用摄像装置进行摄影时，一边观察监视器画面一边进行摄影的情况较多。这时，由于画面的制约，有时会看丢或者难以发现摄影对象物。

提出了即使是在如上所述看丢了摄影对象物的情况下也能够容易找出摄影对象物的摄像装置。例如，在日本公开特许2007-74057号公报(以下称作“专利文献1”)中提出了在以第1视场角进行显示时，能够以比该第1视场角大的第2视场角进行显示的摄像装置。

上述专利文献1公开的摄像装置在看丢了摄影对象物时，为了找出该摄影对象物，需要视场角大的摄像部。因此，装置变得大型化且复杂化，并且救援场景(用于再次找出对象物的处置)被限定，会给用户带来负担。

发明内容

本发明正是鉴于这种情况而完成的，其目的在于提供在看丢了摄影对象物或者观察对象物时，为了找出该对象物，通过简单的结构使操作者容易知晓的摄像操作引导装置和摄像装置的操作引导方法。

本发明的第1方式的摄像操作引导装置具有：摄像部，其拍摄对象物，输出图像数据；操作履历部，其记录针对上述摄像部的操作履历；以及引导部，其根据在上述操作履历部中记录的操作履历，确定与过去的图像和当前的差异相关的引导。

本发明的第2方式的摄像操作引导方法具有以下步骤：拍摄对象物，输出图像数据；记录上述拍摄时的操作履历；以及根据过去取得的图像和已记录的上述操作履历，确定与过去的图像和当前的差异相关的引导。

本发明的第3方式的摄像操作引导装置具有：摄像部，其拍摄对象物，输出图像数据；图像数据存储部，其将上述图像数据存储为辅助图像；指示部，其用于指示用于找出上述对象物的引导显示；以及引导显示部，其在由上述指示部指示了引导显示时，显示在看丢对象物以前存储在上述图像数据存储部中的辅助图像。

本发明的第4方式的摄像操作引导方法具有以下步骤：拍摄对象物，输出图像数据；将上述图像数据存储为辅助图像；指示用于找出上述对象物的引导显示；以及在指示了上述引导显示时，将在看丢对象物以前存储的辅助图像显示在显示部上。

根据本发明，能够提供在看丢了摄影对象物或者观察对象物时，为了找出该对象物，通过简单的结构使操作者容易知晓的摄像操作引导装置和摄像装置的操作引导方法。

附图说明

图1是示出本发明的一个实施方式的照相机的基本结构的框图。

图2是示出本发明的一个实施方式的照相机的具体结构的框图。

图3是示出本发明的一个实施方式的照相机的使用状态的图。

图4是示出本发明的一个实施方式的照相机中的显示状态的图。

图5是示出本发明的一个实施方式的照相机的主要动作的流程图。

图6是示出本发明的一个实施方式的照相机的主要动作的流程图。

图7是示出本发明的一个实施方式的照相机的“需要引导”的动作的流程图。

图8是示出本发明的一个实施方式的照相机的“摄像部的移动路径显示”的动作的流程图。

图9是示出本发明的一个实施方式的照相机的“摄像控制的引导显示”的动作的流程图。

图10是示出本发明的一个实施方式的照相机的“摄像控制的引导显示”的动作的流程图。

图11是示出本发明的一个实施方式的照相机中的操作履历的图。

图12是示出本发明的一个实施方式的照相机中的操作履历的图。

图13是示出本发明的一个实施方式的照相机中的、操作发生变化时的图像变化的图。

图14是示出本发明的一个实施方式的照相机中的、显示在显示部上的对象物的时间变化的图。

图15A和图15B是示出本发明的一个实施方式的照相机中的引导显示的例子的图。

图16是示出本发明的一个实施方式的照相机中的引导显示的第1变形例的图。

图17是示出本发明的一个实施方式的照相机中的引导显示的第1变形例中的主要动作的流程图。

图18是示出本发明的一个实施方式的照相机中的引导显示的第2变形例的图。

图19是示出本发明的一个实施方式的照相机中的引导显示的第2变形例中的主要动作的流程图。

图20A和图20B是示出将本发明应用于内窥镜时的使用例的图。

具体实施方式

下面参照附图对本发明的实施方式进行说明。图1是示出本实施方式的基本结构的框图。图像判定部1b输入图像数据，并在用户正在观察或者记录图像时，判定是否是看丢了对象物的情况。

操作履历部1c记录摄像装置等由用户使用的装置的操作的履历。例如在摄像装置的情况下，作为操作履历，可以举出摄影镜头的距离信息、视场角信息(焦距信息)、摄影镜头的光轴方向(上下方向、左右方向)、进深方向、曝光信息(画面的明亮度信息)等。另外，虽然进深信息通常与距离信息一致，但是在用户沿着壁面行进时，即使在画面的一部分上被拍摄的壁面的距离固定的情况下，画面的其他部分的进深有时也发生变化。

差异教示部1dx从图像判定部1b输入判定结果，还从操作履历部1c输入已记录的操作履历，在图像发生较大变化的情况下，教示过去取得图像与当前图像之间的差异。根据图像是否发生较大变化来判定是否看丢了对象物。除此以外，可以通过图像的时间变化的特征或图像的特征本身来进行判定，也可以考虑变化时的操作(位置变化或朝向的变化或视场角的变化或曝光、焦点的变化等)或状况、环境等。即，根据与对应于对象物的状况变化的观察操作、或包含了位置或运动的对象物像的状态变化相应的摄影位置、摄影方向或摄影参数设定(摄像操作)的不匹配合、或者与观察、摄像操作对应的对象物的状况的不适当，判定为难于观察，或者在产生了视觉辨认性的劣化的情况下判定为看丢了对象部，如后所述，本实施方式发挥效果。即，在图像发生较大变化的情况下，通过显示发生变化时的操作等，能够再次捕捉看丢了的对象物。例如，如果通过使摄像装置大幅朝向右方，而使图像发生较大变化，则可以显示这一情况，还可以教示向左方移动。并且，也可以设为记录过去的图像，并显示操作状态和过去的图像。之后将使用图4、图14、图15A、图15B等，叙述具体的教示的例子。

接着，使用图2，说明本实施方式的具体结构。本实施方式是将本发明应用于摄像装置10的例子。该摄像装置10由照相机部11和主体部12构成。另外，照相机部11和主体部12可以构成为一体，还可以分体构成。此外，如移动电话或智能手机的信息终端可以担负主体部12的功能。照相机部11与主体部12之间可以经由接点直接连接，还可以通过无线通信取得连接。摄像部包含：拍摄的功能、观察的功能、计测的功能等基本功能或应用功能。

在照相机部11内具有：摄像部2、操作部7a和姿势传感器7b。摄像部2具有光学镜头和摄像元件，将对象物进行光电转换，并将图像数据输出到主体部12。此外，光学镜头11可以设为由变焦镜头构成，并变更视场角。在搭载了变焦镜头的情况下，检测视场角信息，并输出到主体部12。此外，可以具有所谓的自动对焦功能，在该情况下，检测与对象物之间的距离，并将距离信息输出到主体部12。摄像部2作为拍摄对象物并输出图像数据的摄像部发挥作用。

操作部7a具有：照相机部11的操作部件，例如视场角变更部件(焦距变更部件)和释放按钮等，将表示操作部7a的操作状态的操作信息输出到主体部12。姿势传感器7b具有角加速度传感器、加速度传感器、陀螺仪等能够检测照相机部11的姿势状态的传感器，并将该传感器的检测结果输出到主体部12。能够利用姿势传感器7b的检测输出，检测摄像部2的光学镜头的光轴方向朝向上下左右的任意一个方向的状况。

在主体部12内设有控制部1、记录部4、显示部8、触摸面板8b和时钟部9等。在控制部1内设有摄影控制部1a、图像判定部1b、操作履历部1c和引导部1d。控制部1具有CPU(Central Processing Unit：中央处理装置)及其周边电路，能够按照存储在存储部1e中的程序，进行主体部12内或照相机部11内的各个部的控制。摄影控制部1a、图像判定部1b、操作履历部1c和引导部1d可以由硬件构成，但是也可以利用程序而作为软件实现。

摄影控制部1a根据由摄像部2取得的图像数据的曝光控制和操作部7a的释放按钮等摄影指示部件的操作，进行图像数据的记录控制等。与图1所示的图像判定部1b同样，图像判定部1b从摄像部2等输入图像数据，在用户正在观察或者记录图像时，判定是否是看丢了对象物。根据图像是否发生较大变化来判定是否看丢了对象物。

与图1所示的操作履历部1c同样，操作履历部1c记录由用户使用摄像装置10时的操作履历。作为操作履历，例如具有光学镜头的距离信息、视场角信息(焦距信息)、光学镜头的光轴方向(上下方向、左右方向)、进深方向、曝光信息(画面的明亮度信息)等。

引导部1d在图1中相当于差异教示部1dx，接收图像判定部1b和操作履历部1c的输出，根据图像是否发生较大变化来判定用户看丢了对象物的状况，在图像发生较大变化时，生成用于进行引导的信息以便能够再次找出对象物，并输出到显示部8。

引导部1d作为以下引导部发挥作用：根据由摄像部过去取得的图像和记录在操作履历部中的操作履历，确定与过去的图像和当前的差异相关的引导。该引导部根据看丢了图像时的支配性的操作项目，确定引导。此外，引导部生成图像文件，该图像文件记录了过去的图像、表示操作的符号(例如，图15B的箭头330a)和文本(例如，图4的209、图15B的330b)的至少1个，作为与过去的图像和当前的差异相关的引导。

此外，引导部1d作为以下引导显示部发挥作用：在由指示部指示了引导显示时，显示在看丢对象物以前存储在图像数据存储部中的辅助图像。引导显示部并列显示当前的图像和上述辅助图像的双方(例如，参照图4的时刻T3、图15A、图16、图18)。

存储部1e包含可电改写的非易失性存储器或易失性存储器，临时存储用于执行由上述CPU进行的控制的程序和从摄像部2输出的图像数据，或进行用于执行程序的数据的临时存储。该存储部1e作为记录针对摄像部的操作履历的操作履历部发挥作用。此外，操作履历部具有：使摄像部的视场角发生变化的操作信息、使摄像部的左右上下的方向发生变化的操作信息、使摄像部的明亮度发生变化的信息和使摄像部的焦点发生变化的信息中的至少1个(参照后述的图5的S15)。此外，存储部1e发挥作为存储图像数据作为辅助图像的图像数据存储部的功能。

除了上述的功能以外，控制部1还执行作为摄像装置10的各种功能。例如，对从摄像部2输入的图像数据实施图像处理，进行实时取景显示，还在进行了释放操作时，对图像数据实施记录用的图像处理，使记录部4进行图像数据的记录。

记录部4具有能够在主体部12上固定或者装卸的可电改写的非易失性存储器，进行来自摄像部2的图像数据的记录。

显示部8具有液晶监视器或有机EL监视器等，根据来自摄像部2的图像数据进行实时取景显示，根据记录在记录部4中的图像数据来进行再现显示等。此外，在显示部8的监视器的前表面设有触摸面板8b，检测用户的触摸操作等操作状态，并输出到控制部1。时钟部9将日期时刻信息输出到控制部1。

除了上述的各个部以外，主体部12还根据需要设置有通信部6、姿势传感器7c和方位传感器7d等。通信部6利用有线或者无线与外部设备进行通信。此外，也可以设为经由通信部6与外部的服务器等进行通信，与互联网等相连接。

与照相机部11内的姿势传感器7b同样，姿势传感器7c具有角加速度传感器、加速度传感器、陀螺仪等能够检测主体部12的姿势状态的传感器，并向控制部1输出该传感器的检测输出。方位传感器7d包含电子罗盘仪等，检测主体部12朝向东西南北的哪一个方位，并输出到控制部1。作为在摄像时由用户进行的摄像部的操作和对焦等，具有上下的晃动和左右的摇摄等。通过利用方位传感器7d来检测主体部12是朝向哪一个方位，能够取得主体部12的运动是单纯的左右这样的以上的信息，并输出到控制部1。

接着，使用图3和图4说明本实施方式中的动作的概要。图3示出用户100摆放好摄像装置10，拍摄停在支柱201上的对象物200的情况。

在摄影时，由于用户使摄像部2的光学镜头的焦距处于广角侧，所以如图4的时刻T1所示，能够在显示部8内确认对象物200。当用户想要从该状态起较大地拍摄对象物200的图像而进行变焦操作，将焦距变更到望远侧时，如图4的时刻T2(这里，虽然记作“时刻”，但是可以是以任意为起点的定时)的图像所示，看丢了对象物200。

这样，当图像发生较大变化时，图像判定部1b检测该变化，如图4的时刻T3所示，引导部1d在显示部8上进行引导显示。在图4所示的例子中，用框203表示在时刻T2显示在显示部8上的范围，在右上的空白部示出在时刻T2显示的图像，作为当前图像205。此外，用箭头207表示过去的辅助图像的框203和当前图像205的位置变化。由此，可知难以发现或者看丢了对象物时的摄像部的移动路径。另外，只要是箭头207从图像的中心朝向中心进行显示等可知摄像部的移动路径的显示，则不限于图4的时刻T3的显示。

此外，在显示部8的空白部上将看丢了或者难以发现对象物200时的操作表示为引导显示209。在该例子中，利用“变焦5倍，向上方手抖”这样的文本进行引导显示。通过该显示可知，由于用户进行光学镜头的变焦并由于手抖等使光学镜头朝向上方，所以看丢了对象物。如果知晓看丢了对象物的理由，则用户能够再次找到对象物。

另外，在图6的S33的“是”～S43中，详细叙述如图4所示的用于变焦操作时的引导显示的处理。

接着，使用图5至图10所示的流程图，说明本实施方式中的动作。通过使控制部1内的CPU根据存储在存储部1e中的程序来控制摄像装置10内的各个部，执行这个流程图(后述的图17、图19所示的流程图也同样)。

在图5所示的主流程开始后，首先判定是否是摄影模式(S1)。该摄像装置10将摄影模式设定为默认模式，在未设定再现模式等其他模式的情况下，在该步骤中判定为摄影模式。在步骤S1中的判定结果不是摄影模式的情况下，判定是否设定了再现模式等其他模式，按照所设定的模式进行处理。

在步骤S1中的判定结果是摄影模式的情况下，开始摄像，依次进行显示(S3)。这里，摄像部2开始拍摄，将图像数据输出到控制部1。控制部1对图像数据实施实时取景显示用的图像处理，在显示部8上进行实时取景显示。图像数据以规定的帧率被更新，并依次显示图像。

接着，如果是视觉辨认性好的图像，则记录为辅助图像(S5)。如后所述，在本实施方式中，在用户无法利用摄像装置10获知正在观察的位置的情况下，换言之，在难以发现或者看丢了对象物的情况下，为了对找出对象物的状况进行辅助，显示迄今为止观察的图像。为了进行该显示，在步骤S5中，如果图像的视觉辨认性好，则将该图像存储到存储部1e中。当然，如果没有需要，则可以将其记录到临时的其他记录部中。在最终进行摄影时等，可以在该摄影文件内一并记录经过图像或者参考图像，利用关联记录等的功夫，能够之后参照摄影过程，并能够在各种各样的状况中辅助用户。此外，还一并记录从时钟部9输出的时刻信息等。

此外，步骤S5中的视觉辨认性是否好的判定根据对象物的对比度分布、直方图分布对于机械式的、人为式的“面部识别”等图像识别是否适合，或饱和度、焦点、边缘等是否位于适当的位置等来进行判定。在面部等中，可以灵活运用特定的器官、例如重要的眼睛的部分是否进入，蝴蝶翅膀的轮廓是否全部进入等高度的图像识别。是否残留了最初取得的图像的特征等也成为参考。广泛公知有从图像取得特征信息的方法，也可以使用其特征按照每个部分对图像进行分类，根据残留有特征的部分是否位于画面内来进行判定。

接着，判定是否重新记录了类似图像(S7)。在步骤S5中，如果是视觉辨认性好的图像则进行记录，但是，当继续记录相同的图像时，存储器容量将立即满了。因此，如果是类似的图像，则为了删除，在步骤S5中判定已记录的辅助图像是否与以前的图像类似。

在步骤S7中的判定结果是新记录了类似图像的情况下，删除已记录的辅助图像(S9)。如上所述，在图像类似的情况下，删除该类似图像，进行存储器容量的节约。

在步骤S9中删除了辅助图像后，或者在步骤S7中的判定结果是未新记录有类似图像的情况下，判定是否进行了操作(S11)。这里，判定是否操作了操作部7a的操作部件，例如变焦操作部件、手动对焦部件(环部件)、光圈操作部件和快门速度操作部件等。并且，还利用光学系统部的姿势传感器7b、主体操作部的姿势传感器7c、方位传感器7d，判定是否存在规定量以上的运动。

此外，在步骤S11中，还判定是否利用自动对焦(AF)使焦点发生了规定量以上的变化。关于该规定量，根据摄影时的视野或视场角信息，例如，基于视场角而换算成角度来进行确定这样的方法是有效的。如果姿势传感器7b、7c由陀螺仪或加速度传感器构成，则能够利用时间积分而从角加速度或加速度换算为角度，由于一周是360°，所以也能够通过罗盘仪的朝向对方位进行换算。

在步骤S11中的判定结果是进行了操作的情况等下，接着，进行参数操作处理(S13)。在步骤S11中，在用户利用操作部7进行了操作的情况下，进行与该操作相应的参数操作处理。例如，在对变焦操作部件进行了操作的情况下，根据操作方向或操作量来改变视场角。

在进行参数操作处理后，接着，进行操作记录(S15)。这里，将被操作的操作部件的种类和操作量、照相机发生运动的情况下的运动量(包含运动方向)和焦点的变化量(包含变化方向)等信息、和进行了这些操作等的时刻信息存储到存储部1e中。另外，根据来自姿势传感器7b、7c、方位传感器7d等的信号来检测运动量。这可以设为按照时间变化来记录上述的角度的信息。此外，除了操作部件以外，还一并将光圈值或ISO感光度等曝光控制值、图像数据的亮度信号成分等存储到存储部1e中。该被存储的信息在后述的S31的操作履历判定或S33的判定中使用，还在图9的S81、S85、S91、S101、S109的判定时使用。

另外，步骤S15中的记录结果是按照时间序列进行记录，结果也可以是临时记录，也可以最终以能够利用图像进行参照的方式与图像文件对应起来进行记录。如果以如搭载GPS的照相机的技术为例则很容易理解，如果将摄影位置换算为坐标来表示，对象物位置也用坐标表示，则能够进行判定。可以不计算绝对坐标，而是根据距离、姿势或画面内的位置等计算相对坐标。如果对象物是运动的对象物，则以摄像位置为原点，如果对象物是不运动的对象物，则以对象物为原点即可。关于对象物的运动，可以是通过判定图像来获知，也可以通过与周边背景之间的差异来判定运动本身。

在图4所示的例子中，可以以蜻蜓停落的构造物为原点。在该情况下，以俯视的形态进行摄影，该俯视的角度可以通过3轴加速度传感器来判定重力方向，根据距离数据可获知离原点有多远，根据方位传感器可获知左右的情况。可以以此为基点，将随后的运动记录为加速度或角加速度、方位传感器的数据变化。首先，如果掌握对象物与摄像部的位置关系并设为原点(基准的相对位置关系)，并对其进行记录而设为基准，按照时间序列记录对从此处起的变化进行监视的结果，则可记录操作信息。根据摄像时的视场角换算并判定位于画面中央的图像在哪个位置运动。此外，还能够根据摄影、观察的起点、基准的位置关系时的方位或重力加速度来判定基准姿势。可以根据稳定地瞄准对象物的时间是否为特定时间以上，来确定摄影或观测的起点(时刻)。用户通常在发现观察对象，并通过摄像设备在特定时间期间观察并确认、识别而认可后转移到下一个动作。

在步骤S15中进行了操作记录后，或者在步骤S11中的判定结果是判定为没有操作的情况下，接着，进行是否需要引导的判定(S17)。用户在显示部8上正在观察实时取景图像时，当看丢了对象物时，进行操作部7a的帮助按钮或显示在显示部8上的帮助图标等用于引导显示的操作。

在该步骤S17中，判定是否进行了上述的操作。此外，除了判定用户的手动操作以外，还判定摄像装置10是否需要自动进行引导。之后将使用图7对步骤S17中的判定的详细动作进行叙述。上述的帮助按钮或帮助图标等发挥作为用于指示引导显示的指示部的功能，该引导显示用于找出对象物。该指示部在通过手动操作指示了引导显示时或者根据图像数据，判定是否指示了引导显示。在判定为需要引导显示后，在后述的步骤S31以后，根据过去取得的图像和已记录的操作履历来确定与过去的图像和当前的差异相关的引导，还在指示了引导显示时，在显示部上显示在看丢对象物以前存储的辅助图像。此外，指示部在通过手动操作指示了引导显示时进行判定或者根据图像数据进行判定。

在步骤S17中的判定结果是无需引导的情况下，判定是否进行摄影(S19)。在判定为构图好且快门时机好的情况下，用户对操作部7a内的释放按钮进行操作。在该步骤中，根据释放按钮是否被操作来进行判定。

在步骤S19中的判定结果是进行摄影的情况下，进行摄影和记录(S21)。这里，摄像部2以规定的摄影参数进行摄影，在曝光时间以后将图像数据输出到控制部1。控制部1对已输入的图像数据实施记录用的图像处理，在记录部4中进行图像数据的记录。

返回步骤S17，在该步骤S17中的判定结果是需要引导的情况下，根据最新的已记录的辅助图像进行操作履历的判定(S31)。在判定为需要引导后，在步骤S31以后，执行用于供控制部1的引导部1d进行引导显示的控制。另外，虽然根据操作履历来确定引导显示，但是由于记录在操作履历中的操作是各种操作的组合，所以在看丢对象物时，根据支配性的操作项目来进行引导显示。

首先，在步骤S31中，参照已经记录的操作过程的信息，对换算为例如角度变化等后的值的大小进行比较，判定对于看丢具有支配性的操作。当然，不限于角度变化，也可以换算为被摄体与摄像部的相对位置关系的变化的大小来进行判定。如果对其进行一并使用，则能够进一步提高精度。如果以如搭载GPS的照相机的技术为例则很容易理解，如果将摄影位置换算为坐标来表示，对象物位置也由坐标表示，则能够进行判定。也可以不计算绝对坐标，而是根据距离、姿势或画面内的位置等计算相对坐标。如果对象物是运动的对象物，则以摄像部为原点，如果对象物是不运动的对象物，则以对象物为原点即可。关于对象物的运动，可以是通过判定图像来获知，也可以通过与周边背景之间的差异来判定运动本身。

在图4所示的例子中，可以以蜻蜓停落的构造物为原点。在该情况下，以俯视的形态进行摄影，该俯视的角度可以通过3轴加速度传感器来判定重力方向，根据距离数据可获知离原点多远，根据方位传感器可获知左右的情况。可以以此为基点，将随后的运动记录为加速度或角加速度、方位传感器的数据变化。首先，如果掌握对象物与摄像部的位置关系并设为原点(基准的相对位置关系)，并对其进行记录而设为基准，按照时间序列记录对从此处起的变化进行监视的结果，则成为操作的信息，所以观察该经过的大小的变化即可。可以仅拾取发生了预先确定的或者根据视场角等摄影条件确定的规定的值以上的变化的情况。根据摄像时的视场角换算并判定位于画面中央的图像在哪个位置运动。此外，根据摄影、观察的起点(定时)、基准的位置关系时的方位或重力加速度，还能够判定基准姿势。

这样，在步骤S31中读出在步骤S5中已记录的一系列的辅助图像或在步骤S15中已记录的操作部件等的操作履历，判定难以发现或者看丢对象物的原因。例如，在看丢对象物以前图像的视场角发生了变化的情况或者进行了放大显示的情况下，能够估计为由于变焦操作或放大而看丢了对象物。另外，将在步骤S17中判定为需要引导时的图像作为看丢了对象物的图像进行判定。

在步骤S31中进行了操作履历判定后，接着，进行是否是变焦操作或由于靠近而进行了放大显示的判定(S33)。这里，根据步骤S31的操作履历判定，判定是否是变焦操作或者由于靠近的放大，作为需要引导的原因。

在步骤S33中的判定结果是变焦操作或由于靠近而进行了放大的情况下，使用图4来进行如所说明那样的引导显示。首先，根据焦距或距离的比，进行放大率E判定(S35)。这里，根据进行变焦操作的情况下的变焦比，并根据靠近对象物时的距离的比，计算放大率E。

接着，判定摄像中心位置的变化(S37)。这里，根据来自姿势传感器7b、7c、方位传感器7d的检测信号，判定摄像中心位置向哪个方向发生了何种程度的变化。如上所述，能够以基准的相对位置关系或者基准姿势为基点，根据加速度或角加速度的时间变化等来对其进行计算。当然，能够直接使用方位或重力方向的变化。根据摄像时的视场角换算并判定位于画面中央的图像在哪个位置运动。

接着，进行已记录的辅助图像的显示(S39)。这里，在直到用户看丢了对象物为止的期间内，从控制部1内的存储部1e读出在步骤S5中已记录的辅助图像，并以能够一览的方式并列显示。另外，作为辅助图像的显示方法，可以按照时间序列依次显示。

与进行辅助图像的显示并行地以1/E倍显示现状图像(S41)。由于在步骤S35中计算了放大率E，所以在该步骤中，使基于来自摄像部2的当前的图像数据的图像以1/E倍显示在显示部8上。由于当前的图像被放大，所以将其缩小显示则更容易视觉辨认，此外由于与过去记录的辅助图像并行显示，所以容易理解到难以发现或者看丢对象物为止的期间的过程。

在进行了现状图像的显示后，接着显示摄像中心移动到了记录辅助图像的哪个位置(S43)。由于在步骤S34中判定了摄像中心位置的变化，所以在该步骤中，以获知摄像中心位置的变化的方式进行显示。例如，如使用图4的时刻T的显示所说明，利用箭头207表示移动路径。

在步骤S33中的判定结果是进行了变焦操作或由于接近而进行了放大的情况下，并列显示已记录的辅助图像和现状图像(S51)。这里，从控制部1内的存储部1e读出到用户看丢对象物为止的过去的一系列的辅助图像，还根据来自摄像部2的图像数据来生成当前的图像，将这些图像并列显示在显示部8上(参照后述的图15A)。通过试图对两者进行比较，能够理解到用户看丢对象物为止的过程。

接着，判定看丢了对象物的原因是否是由于移动而引起的(S53)。由于用户沿上下或者左右摆动摄像装置10，还由于使摄像装置10移动等，有时会看丢对象物。在该步骤中，根据已记录的辅助图像和来自姿势传感器7b、7c、方位传感器7d等的检测信号，判定是否是由于摄像部的移动而引起的。

在步骤S53中的判定结果是由于摄像部的移动而引起的情况下，显示摄像部的移动路径(S55)。这里，在步骤S5中，读出已记录的辅助图像，并列显示该读出的辅助图像。通过观察该辅助图像，用户能够理解由于何种的摄像装置10的运动而看丢了对象物，或者为何难以发现对象物。另外，之后将使用图8叙述该移动路径的显示的详细动作。

在步骤55中显示了移动路径后，或者在步骤S53中的判定结果是摄像部的移动不是起因的情况下，对适合于消除看丢的摄像控制进行引导显示(S57)。这里，进行与难以发现对象物的原因或看丢的原因相应的引导显示，使得能够再次找出并观察用户看丢了的对象物。之后将使用图9和图10对该摄像控制的引导显示的详细动作进行叙述。

在步骤S43中进行了移动显示后，或者在步骤S57中进行了摄像控制的引导显示后，在前述的步骤S19中判定是否进行摄影，在进行摄影的情况下，在步骤S21中进行摄影和记录。

在步骤S21中进行了摄影和记录后，或者在步骤S19中的判定结果是未进行摄影的情况下，返回步骤S1，进行上述的动作。

这样，在本实施方式中，在摄像动作中将图像记录为辅助图像(S5)，在由于用户看丢了对象物而需要进行引导的情况下(S17)，根据看丢了的原因(S33)，进行引导显示(S43、S57)。此外，在引导显示时，通过进行现状图像和辅助图像的显示(S39、S41、S51)，直观获知到看丢为止的期间的经过。此外，以容易理解的方式显示摄像中心位置的变化(S43)。

接着，使用图7，说明步骤S17(参照图5)的是否需要引导的判定的详细动作。当进入需要引导的流程时，首先进行是否存在用户帮助操作的判定(S61)。用户在显示部8上正在观察实时取景图像时，若看丢了对象物，则进行操作部7a的帮助按钮或显示在显示部8的帮助图标等用于进行引导显示的手动操作。在该步骤中，判定是否进行了该操作。

在步骤S61中的判定结果是不存在用户的帮助操作的情况下，接着，判定是否是与辅助图像的一致度变大而消除了看丢(S63)。即使用户看丢了对象物，有时也能再次找出对象物。在该步骤中，根据看丢以前记录的辅助图像与当前的图像的一致度是否变大来进行该判定。

在步骤S63中的判定结果是未消除看丢的情况或者无法发现的情况下，接着，判定是否是与辅助图像的一致度增加，处于消除看丢的方向(S65)。即使未消除看丢，在辅助图像与当前的图像的一致度随着时间而增加的情况下，则通过用户的操作或者摄像装置10的处理，处于消除看丢的方向。在该步骤中根据一致度的时间变化，判定是否消除了看丢或是否处于能够发现的方向。

在步骤S65中的判定结果是处于消除看丢的方向的情况下，设定改善标记(S67)。该改善标记在后述的图10的S113的判定时使用。在处于消除看丢的方向的情况下，在引导显示中可获知该情况。

在步骤S67中设定了改善标记后，或者在步骤S65中的判定结果是未处于消除看丢的方向的情况或者怎么也无法发现的情况下，判定画面中央部是否是低对比度(S69)。通常比较普遍的情况是在画面的中央部存在对象物，对该对象物对准焦点。因此，在画面中央部是低对比度的情况下，看丢对象物的可能性较高。能够将这种图像图形等也设为看丢判定时的信息。

在步骤S69中的判定结果是画面中央部是低对比度的情况或者步骤S61中的判定结果是进行了用户帮助操作的情况下，判定为需要引导显示(S73)。

另一方面，在步骤S69中的判定结果是画面中央部不是低对比度的情况或者步骤S63中的判定结果是消除了看丢的情况或者已发现的情况下，判定为无需进行引导显示(S71)。

在步骤S71、S73中分别确定了判定结果后，返回原来的流程。这样，在需要引导的流程中，除了利用用户的手动操作进行引导显示(参照S61)以外，通过对辅助图像与当前的图像进行比较，判定是否需要引导显示。

这样，在本实施方式中，不限于判断为需要用于供用户找出对象物的引导而手动操作操作部件的情况，还可以根据辅助图像和当前的图像的变化度、或画面中央部的对比度状态而自动切换到引导显示。另外，向引导显示的切换可以仅是手动操作，还可以仅是自动切换。

接着，使用图8，说明步骤S55(参照图6)的移动路径显示的详细动作。在进入移动路径显示的流程后，首先将T01～T0为止的时间分割为三份，分别设为T01、T02、T03(S75)。这里，T01与在步骤S5中正在记录辅助图像中的最早的时刻对应。此外，时刻T0与用户看丢了对象物的时刻、无法检测出对象物图像的时刻、定时等中的任意一方对应。

接着，并列显示在T01、T02、T03附近获得的图像(S77)。在步骤S5中在记录辅助图像时，还一并记录时间信息。在该步骤中，读出记录有时间信息的辅助图像，将读出后的辅助图像并列显示在显示部8上，该时间信息接近在步骤S61中计算出的时刻T01、T02、T03。在进行了辅助图像的显示后，结束移动路径显示的流程，返回原来的流程。

另外，虽然在图8中通过分割为3份的例子进行了说明，但只要能够对画面的大小或布局时的复杂性花费时间和功夫，则可以分割为4份，也可以分割为5份。其中，当信息过少时，在线索消失的方向上，很难进行引导。特别是如果经过时间不长，则中途的操作有可能变多，最好增加引导。在看丢对象物而大吃一惊并多次进行了挽救动作的情况等下，可以记录显示全部的挽救动作，还可以精简慌忙进行的挽救动作的结果和看丢时、无法发现的情况和无法进行图像检测时等的差异，整理为3个操作。

例如，在使照相机10上下运动而未找到、且向右运动也未找到的情况下，由于上下运动的状况已经尝试而不重要，向右也完成尝试，所以优选如对未找到这种对象物的动作进行省略等而节省时间和功夫的引导。这里，优选向仍未尝试的左方运动的引导即可。即，虽然引导部1d根据看丢了图像时的支配性的操作项目来确定引导，但是该“支配性的操作项目”优选包含排除了“已经尝试但无法消除看丢的项目或无法发现的项目等”后的动作等。相反，已经尝试而未成功的项目也能够成为在该情况下用于防止无用的反复而有效的信息。当然，引导部1d进行指示的、看丢了图像时的支配性的操作项目主要多数是刚刚看丢以后或图像刚刚消失以后等的动作。自此，用户有可能因看丢而慌忙进行其他事情，但是，关于此，以下方法是有效的：首先提示到刚刚看丢以后的状态为止的操作，然后提示刚刚看丢以后的动作。

这样，在本实施方式中，通过使摄像装置10沿上下左右等运动等，在用户看丢了对象物的情况下，由于显示从把握、捕捉、检测对象物的状态到看丢的期间已记录的辅助图像，所以能够直观理解移动路径。另外，虽然在本实施方式中，将直到T01～T0为止的时间分割为3份，但是分割数量不限于此。可以考虑显示部的大小和用户的易见度等来确定分割数量。此外，分割数量可以设为能够由用户适当地在操作部7a等中设定。

接着，使用图9和图10说明步骤S57(参照图6)的摄像控制的引导显示的详细动作。当进入摄像控制的引导显示的流程时，首先，判定是否是左右变化(S81)。由于当摄像部2的光学系统的光轴左右摆动时图像左右运动，所以根据在步骤S15中已记录的来自姿势传感器7b或者姿势传感器7c的检测信号的时间变化，判定摄像装置10是否左右运动。另外，可以设为除了姿势传感器以外，还根据已记录的辅助图像的图像数据和来自摄像部2的图像数据，判定是否是左右运动。

在步骤S81中的判定结果是存在左右变化的情况下，如果存在与已记录的辅助图像之间的左右变化，则设为变化量ΔX(S83)。这里，将已记录的辅助图像与当前的图像进行比较，计算左右变化量ΔX。如果姿势传感器7b、7c是加速度传感器，则可以对该加速度传感器的输出进行时间积分。

在步骤S83中求出变化量ΔX后，或者在步骤S81中的判定结果是不存在左右变化的情况下，接着，判定是否存在上下变化(S85)。由于即使摄像部2的光学系统的光轴上下摆动图像也运动，所以根据在步骤S15中已记录的来自姿势传感器7b或者姿势传感器7c的检测信号的时间变化，判定摄像装置10是否上下运动。另外，可以设为除了姿势传感器以外，还根据已记录的辅助图像的图像数据和来自摄像部2的图像数据，判定是否上下运动。

在步骤S85中的判定结果是存在上下变化的情况下，如果存在与已记录的辅助图像之间的上下变化，则设为变化量ΔY(S87)。这里，将已记录的辅助图像与当前的图像进行比较，计算上下变化量ΔY。

在步骤S87中求出变化量ΔY后，或者在步骤S85中的判定结果是不存在上下变化的情况下，接着用箭头显示基于-ΔX和-ΔY的向量(S89)。这里，根据在步骤S83或S87中求出的变化量ΔX、ΔY，朝向与摄像装置10运动的方向相反的方向以相同的大小(即，-ΔX、-ΔY)将箭头显示在显示部8上。实际上，在看丢对象物的情况下，成为上下和左右的复合运动。通过显示如图15B所示的箭头，如果使摄像装置10的光轴方向朝向任意一个方向运动，则用户能够再次捕捉对象物。

在步骤S89中进行了向量显示后，接着，判定进深是否发生变化(S91)。如果沿着壁等移动，则进深发生变化，有时会看丢对象物。这里，通过将记录辅助图像的进深与当前的图像的进深进行比较来进行判定。这里，进深可以将到对象物的距离中的最近的距离等作为候选。如果距离过近，则使小的对象物从视场角偏离的状况较多，从而产生漏看。距离可以参考对准焦点的距离等，还可以设置距离传感器。

在步骤S91中的判定结果是进深存在变化的情况下，如果存在与已记录的辅助图像之间的进深变化，则给出如抵消发生了变化的方向的移动指示(S93)。这里，将如指示向与看丢图像时的紧前面的运动的方向相反的方向移动的指示，例如箭头显示到显示部8上。例如，在向下运动而看丢的情况下，可以在画面上给出向上方的箭头显示，也可以显示为“请朝上”。这样的显示信息可以设为在存储部1e等中具有表，能够根据方向等进行参照。

在步骤S93中给出了移动指示后，或者在步骤S91中的判定结果是不存在进深变化的情况下，判定是否存在明亮度变化(S101)。在景深急剧变亮(或者变暗)的情况、或光圈值等曝光控制值发生了较大变化的情况下，图像数据的亮度信号发生较大变化，因此有时会看丢对象物。例如，当光圈突然打开，或者突然开始照明时，画面变得全白，从而会看丢对象物。此外相反，当光圈突然变为最小光圈值，照明突然消失时，画面变得全黑，会看丢对象物。

在该步骤S101中，根据在步骤S15中已记录的图像数据的亮度信号成分的变化量来进行判定。作为该情况下的变化量，只要是能够判定是否是看丢对象物的程度的变化即可，可以在过亮的情况和过暗的情况中，分别设为不同的变化量。另外，不限于变化量，可以通过将看丢时的亮度信号成分与规定值进行比较来进行判定。在该情况下，分别判定过亮的情况和过暗的情况。

在步骤S101中的判定结果是明亮度发生了变化的情况下，接着，判定是否过亮(S103)。这里，判定在步骤S101中判定为明亮度发生了变化的原因是否是因为过亮。

在步骤S103中的判定结果是过亮的情况下，指示使其变暗(S105)。这里，以变暗到能够根据画面全白的状态判别对象物的程度的方式，在显示部8上显示如进行光圈值或ISO感光度等调整的指示。另外，可以设为摄像装置10的摄影控制部1a进行自动调整。

在步骤S103中的判定是未过亮的情况下，指示使其变亮(S107)。在看丢对象物的原因是过暗的情况下，以变亮到能够判别对象物的程度的方式，在显示部8上显示如调整光圈值或ISO感光度等的指示。另外，可以设为摄像装置10的摄影控制部1a进行自动调整。

在步骤S105中指示为变暗或者在步骤S107中指示为变亮后，或者在步骤S101中的判定结果是不存在明亮度变化的情况下，接着判定是否存在焦点变化(S109)。这里，在根据在步骤S15中已记录的焦点信息、距离信息或当前的焦点信息等进行对焦后发生了偏离的情况下，根据其位置或根据距离是否发生较大变化来进行判定。

在步骤S109中的判定结果是存在焦点变化的情况下，进行焦点操作指示(S111)。这里，在显示部8上显示焦点偏离，需要进行焦点操作的状况。另外，可以设为摄像装置10内的自动调焦装置(AF)通过自动对焦进行对焦。在手动对焦操作时等，即使知晓焦点是否偏离，也不知道焦点相对于对象物距离向远近哪一方偏离，所以这里对于应该通过再对焦或再次的距离判定对远近的哪一方进行对焦来进行引导指示。在特定的拨盘的情况等下，具体显示运动的方向则更容易获知。但是，即使是如距离过近这样的指示，用户也有可能能够通过如远离的动作来解决，所以可以对此进行引导，也可以一并记载。如果是对焦边界距离附近，则更方便。

在步骤S111中进行了焦点操作指示后，或者在步骤S109中的判定结果是不存在焦点变化的情况下，接着判定是否设定了改善标记(S113)。在上述的步骤S67(参照图7)中，在朝向消除看丢的程度的方向的情况下，设定了改善标记。在本实施方式中，在由于用户的操作等而朝向消除看丢的程度的方向的情况下，在步骤S115中，进行如可知晓当前进行的操作的方向即可的引导显示。

在步骤S113中的判定结果是设定了改善标记的情况下，使显示为半透明(S115)。这里，半透明地显示例如图4所示的引导显示209。通过半透明地进行显示，可知如果继续用户进行的操作，则能够在显示部8的画面内捕捉到对象物。另外，不限于引导显示，可以使辅助图像等图像为半透明，也可以使引导显示和辅助图像双方为半透明。此外，可以设为检测看丢的程度的消除程度，根据该消除程度，改变半透明度。此外，可以是除了半透明显示以外的显示，例如高光等强调显示。

在步骤S115中使显示为半透明后，或者在步骤S113中的判定结果是未设定改善标记的情况下，结束摄像控制的引导显示的流程，返回原来的流程。

这样，在本实施方式中，判定看丢了对象物的原因(S81、S85、S91、S101、S109)，进行与原因相应的引导显示(S89、S93、S105、S107、S111)。因此，用户能够将看丢的对象物再次捕捉到画面内。

接着，使用图11至图15B，说明本实施方式的动作的具体的一个例子。图11和图12是在步骤S15中记录的操作履历的一个例子。在图11和图12中，横轴表示时间，时刻T0是在步骤S17中判定为需要引导的定时。

图表300a的纵轴是距离，表示到对象物之间的距离的时间变化。另外，纵轴可以是摄像部2的镜头的焦点位置。在图表300a所示的例子中可知，距离随着时间而相对于L发生变动，用户对于距离略有迷失。

图表300b的纵轴表示左右方向的位置且左右方向的位置的时间变化。在图表300b所示的例子中可知，左右方向的位置随着时间发生变动，摄像装置10左右微动。

图表300c的纵轴是上下方向的位置，表示上下方向的位置的时间变化。在图表300c所示的例子中可知，上下方向的位置随着时间发生变动，摄像装置10上下微动，在时刻T10稍微向上偏离。

图表300d的纵轴表示进深方向的距离，并表示画面的进深方向(即到对象物之间的距离)的时间变化。进深方向的距离通常与到对象物之间的距离一致，但是在沿壁面行进的情况等下，即使距离固定，进深方向的距离也会发生变化。在图表300d所示的例子中可知，进深方向的距离随着时间发生变动。

图表300e的纵轴表示曝光量，并表示曝光量的时间变化。这里，示出曝光量与入射到摄像元件面上的光量相等，在曝光量大的情况下变亮而在曝光量小的情况下变暗的状况。在光圈值等曝光控制值发生了变化后，曝光量也发生变化。在图表300e所示的例子中可知，背景稍微变暗。

图表300f的纵轴表示视场角，并表示视场角的时间变化。由于用户进行变焦操作，视场角发生变化。在图表300f所示的例子中可知，视场角逐渐变小(变化到长焦侧)。

这样，在用户使用摄像装置10时，各种操作量(距离、左右上下的位置、进深方向的距离、曝光量、视场角)发生变化，将这些操作量记录为履历(图5的S15)。另外，在本实施方式中，作为操作履历，不限于用户手动的操作，还意味着进行保持时的摄像装置的位置、由摄像装置自动控制的量等履历，在广义上使用。

接着，使用图13，对辅助图像的记录进行说明。如上所述，开始摄像，将视觉辨认性好的图像记录为辅助图像(参照图5的S5)，在记录有类似的图像的情况下，删除已记录的辅助图像(图5的S7的“否”→S9)。

图13表示该辅助图像的记录的一个例子。图13所示的图表中的曲线R表示视场角和上下左右的位置等的操作量的时间变化。虽然在时刻T11记录辅助图像P11，但是在从时刻T11到T12的紧前面的期间，由于是类似的图像，所以将在时刻T12的紧前面记录的辅助图像P11x记录到存储部1e中，删除辅助图像P11。另外，记载为“时刻”的部分可以改写为定时。

在记录了辅助图像P11x以后，从时刻T12到T13的紧前面的期间为类似的图像，虽然记录了辅助图像P12，但最终被删除，仅保留辅助图像P12x作为辅助图像。此外，从时刻T13到T14的紧前面的期间是类似的图像，同样仅保留辅助图像P13x。其结果，将时刻T12、T13、T14的紧前面的辅助图像P11x、P12x、P13x记录到存储部1e中。

在时刻T14附近，操作量发生较大变化，对象物从画面内偏离，用户看丢了对象物。无法通过时刻T0的当前图像Ppre来确认对象物，用户需要引导显示，并进行帮助按钮的操作和帮助图标的点击等用于进行引导显示的操作。在进行了引导显示后，用户通过按照引导显示采取操作和行动，能够再次捕捉对象物。

接着，使用图14、图15A和图15B，对在显示部8上显示的图像的变化和引导显示进行说明。图14示出直到看丢对象物为止的期间的图像的变化的例子。在图4中示出了由于进行变焦导致视场角发生变化而看丢了对象物的例子，但是在图14中示出了由于摄像装置10在左右上下的方向上移动，导致看丢了对象物的例子。

在时刻T13，对象物200位于显示部8的画面内。从该状态起，在时刻T14，用户使摄像装置10的镜头的光轴稍微向右上移动，并且缩小视场角(向长焦侧变更)。在时刻T14，如图14的中段的图像所示，对象物进入画面内，但是当使摄像装置10进一步运动，在到达时刻T0后，在显示部8的画面内观察不到对象物200(参照图14的下段的图像)。

当到达时刻T0且看不到对象物时，用户通过帮助按钮的操作或点击帮助图标等，进行引导显示。使用图15A和图15B，对引导显示进行说明。

在判断为需要引导显示后(图5的S17的“是”)，进行操作履历的判定(图6的S31)。在图14所示的例子中，由于摄像装置10进行运动的状况是支配性的，按照图6的S51～S57，进行引导显示。首先，并列显示图15A所示的辅助图像310a～310c(参照图6的51)。即，在当前图像320的一侧并列显示在时刻T13、T14、T0(参照图14)记录的辅助图像310a～310c。另外，虽然在图15A中在右侧并列显示，但是也可以在下侧并列，也可以在画面内的其他位置并列显示。

接着，进行用于消除看丢的状况的显示。例如图15B所示，显示表示运动的方向的箭头330a，还显示消息330b(在该例子中，“在靠近时发生了偏离”)。这时，虽然辅助图像310a～310c可以保持显示的状态，但是，为了不误解箭头330a的含义，也可以在消除动作开始的时点删除辅助图像310a～310c。

这样，在本实施方式中，存储针对摄像部的操作履历(图5的S15)，在看丢了对象物的情况下(图5的S17的“是”)，以能够根据操作履历(图6的S31、S33、S53)来再次捕捉对象物的方式进行引导显示(图6的S35～S43、S55、S57)。因此，即使没有具有大视场角的摄像部，也能够在看丢摄影对象物或者观察对象物时找出对象物。

接着，使用图16和图17，对本实施方式的第1变形例进行说明。在本发明的一个实施方式中，如图15A、图15B所示，仅是将辅助图像310a～310c并列。对此，在第1变形例中，在选择了辅助图像后，利用文本来显示记录了该辅助图像时的操作履历。由于按照这里的每个辅助图像来显示操作状态，用户能够容易进行用于再次显示对象物的动作和处理。

图16示出在本变形例中判定为需要引导显示的情况下的显示部8中的显示。在显示部8的画面上较大显示当前图像320，在当前图像320的下侧显示辅助图像310a～310c。帮助显示图标340能够借助用户的触摸操作在辅助图像310a～310c的上侧移动，并能够选择这些辅助图像的任意一个。另外，除了利用触摸面板操作以外，还利用操作部7a的十字按钮等的操作使帮助显示图标340移动。

在利用帮助显示图标340选择了辅助图像310a～310c的任意一个后，以文本的形式将已选择的辅助图像的记录时的操作状态显示到履历显示区域350。作为该显示的操作状态，具有直到根据在步骤S15中已记录的信息判断为例如需要引导显示为止的期间的时间、变焦操作、对焦操作、光圈等曝光控制值、构图(framing)等的运动信息等各种信息。

在图16所示的例子中，利用帮助显示图标340选择了辅助图像310c，在该状态下，在履历显示区域350中简洁显示：在10秒以前已记录的状况；和在从10秒以前到需要引导显示的判断为止的期间，进行了变焦操作并进行了构图操作的状况。

虽然辅助图像310a、310b捕捉到对象物，但是辅助图像310c看丢了对象物，所以用户通过选择辅助图像310c，能够利用履历显示区域350中的显示来确认从看丢了对象物后到当前为止的期间的操作状态。

接着，使用图17，说明本变形例的主要动作。本变形例的主要动作除了将一个实施方式的图5和图6的主要动作的流程图置换为图17的流程图以外都相同，此外详细来说，仅将图6的部分置换为图17的步骤S23～S27。因此，以该不同点为中心进行说明。

当本变形例的主要动作的流程开始，在步骤S17中的是否需要引导的判定中判定为需要引导时，按照由新到旧的顺序回溯显示辅助图像(S23)。由于需要引导，引导部1d在步骤S23以后进行引导显示的控制。这里，如图16所示，在显示部8上显示辅助图像310c、310b、310a。由于辅助图像在步骤S5中被存储在存储部1e中，所以将它们读出并按照由新到旧的顺序进行显示。

接着，判定是否选择了辅助图像(S25)。这里，判定是否利用帮助显示图标340等选择了任意一个辅助图像。在该判定结果是未选择的情况下，进入步骤S19。

另一方面，在步骤S25中的判定结果是选择了辅助图像的情况下，显示到选择图像为止的经过时间、操作、构图等(S27)。这里，对于已选择的辅助图像，在履历显示区域350中进行操作状态等的履历显示。根据步骤S15中的操作记录来进行操作状态等的履历显示。在进行该显示后，进入步骤S19。

这样，在本变形例中，当用户在显示部8看丢了对象物而判断为需要引导显示(或者自动判断)时，在当前图像的基础上进行辅助图像的显示。在用户选择了辅助图像后，对记录该辅助图像以后的操作状态的履历进行显示。即，在选择了显示在引导显示部上的辅助图像的任意一个后，对从记录了已选择的辅助图像的时点开始的操作履历进行显示。因此，能够容易确认看丢了对象物以后的操作状态的经过，能够简单地再次捕捉对象物。

另外，虽然在本变形例中，在履历显示区域350中以文本的方式进行显示，但是不限于文本显示，可以是符号或图形文字等其他视觉上的显示方法，此外也可以是声音显示。此外，虽然辅助图像显示3个图像，但是可以是2个图像，还可以是4个图像以上，并且其配置位置也不限于当前图像的下侧。此外，虽然利用帮助选择图标选择了辅助图像，但是不限于此，例如，可以利用直接触摸的操作或利用十字按钮等进行选择等其他选择方法。

接着，使用图18和图19，对本实施方式的第2变形例进行说明。在本发明的一个实施方式和第1变形例中，用户能够利用辅助图像和操作履历来理解过去到当前的经过。在第2变形例中，并且，在存在类似的履历的情况下，显示直到在该类似状态下再次捕捉对象物为止的期间的操作以供用户参考。

图18示出在本变形例中判定为需要引导显示的情况下的显示部8中的显示。在显示部8的画面上较大地显示当前图像320，在当前图像320的下侧显示辅助图像310a～310c。

帮助显示图标341配置在当前图像320的横侧，是用于在用户进行触摸后，检索过去的类似状况，显示过去的挽救对策的图标。辅助图像360a～360e是在对帮助显示图标341进行了触摸操作时检索到的、在过去的类似状况中记录的辅助图像。挽救对策显示区域370是以下区域：以文本的形式显示在触摸操作了帮助显示图标341时检索到的挽救对策，即直到再次捕捉到对象物为止的操作、动作和处理等。

在图18所示的例子中，在显示了当前图像320和此次的辅助图像310a～310c的状态下，在用户对帮助显示图标341进行了触摸操作后，控制部1检索过去的类似的状况，在发现了类似状况后，在此时的辅助图像360a～360e中显示，并且将其时的挽救对策简洁显示到挽救对策显示区域370中。在图18所示的例子中，上次的挽救对策显示将变焦操作到广角侧，在左下侧进行了构图的状况。辅助图像360c、360d是看丢了对象物的状态、无法检测出像的状态、无法发现像的状态等任意一个的状态，辅助图像360e再次捕捉到对象物。用户通过进行遵循上次的挽救对策的动作，能够容易捕捉对象物，十分方便。

接着，使用图19，说明本变形例的主要动作。本变形例的主要动作除了将一个实施方式的图5和图6的主要动作的流程图置换为图19的流程图以外都相同，此外详细来说，仅将图6的部分置换为图19的步骤S23～S29。因此，以该不同点为中心进行说明。

当本变形例的主要动作的流程开始，在步骤S17中的是否需要引导的判定中判定为需要引导时，按照由新到旧的顺序回溯显示辅助图像(S23)。由于需要引导，引导部1d在步骤S23以后进行引导显示的控制。这里，如图18所示，示出辅助图像310c、310b、310a。由于辅助图像在步骤S5中被存储在存储部1e中，所以将其读出并按照由新到旧的顺序回溯显示。

接着，判定是否进行类似状况的检索(S26)。如上所述，在用户看丢对象物，想要获知挽救对策的情况下，对帮助显示图标341进行触摸操作。因此，在该步骤中判定帮助显示图标341是否被用户触摸。在该判定结果为不是类似状况检索的情况下，进入步骤S19。

另一方面，在步骤S26中的判定结果是类似状况检索的情况下，接着，显示由于看丢而进行了挽救时的操作和无法再次发现的情况下的操作(S28)。这里，从在步骤S5中已记录的辅助图像(除去在S9中删除的图像)和在步骤S15中记录的操作记录中检索与此次类似的状况，在发现了类似的状况的情况下，显示此时的辅助图像(参照图18的辅助图像360a～360e)。另外，为了进行该类似状况检索，关于在步骤S5中记录的辅助图像(除去在S9中删除的图像)和在步骤S15中记录的操作记录，即使摄影和记录结束，也不删除而仍然记录着。该记录有时作为文档或报告有用。

此外，在步骤S28中，在与所检索的此次类似的状况下，根据操作记录的履历将直到再次捕捉对象物为止的操作生成为文本，并显示在挽救对策显示区域370中。另外，在已经存储有挽救对策的情况下，读出并显示所存储的挽救对策。

在步骤S28中进行了挽救对策的显示后，存储挽救时的履历(S29)。这里，将在步骤S28中生成的挽救对策的文本数据存储到存储部1e中。在存储后，进入步骤S19。该挽救记录可以作为文档或报告起作用，并按照时间序列分析图像的变化和设备的控制，参照对应的文本，进行辅助性的显示。这也能够制作成“在5分钟以后漏看”或“从此开始经过2分钟以后向上看从而发现”这样的简单的报告文章。

这样，在本变形例中，当用户在显示部8看丢了对象物而判断为需要引导显示(或者自动判断)时，在当前图像的基础上进行辅助图像的显示。而且，在操作了帮助显示图标341后，对表示过去的来历的辅助图像360a～360e进行显示，还将过去的挽救对策显示在区域370中。即，在由指示部指示了引导显示后，检索过去的类似状况，并根据检索结果来进行引导显示。因此，可了解从看丢了对象物后到再次捕捉到对象物为止的期间的挽救对策，并能够简单地重新捕捉对象物。

另外，虽然在本变形例中，在挽救对策显示区域370中以文本的方式进行显示，但是不限于文本显示，可以是符号或图形文字等其他视觉上的显示方法，此外也可以是声音显示。此外，虽然辅助图像显示了3个图像，过去来历的辅助图像显示了5个图像，但是这些图像的数量可以是不同的数量，并且其配置位置也不限于当前图像的下侧。此外，虽然利用帮助显示图标341进行了帮助操作，但是可以利用其他选择方法。

接着，使用图20A和图20B，对将本发明应用于工业用内窥镜的例子进行说明。图20A是将工业用内窥镜400插入到机械500的内部时的机械500的内部的立体图。在将本发明应用于工业用内窥镜400时，图2所示的摄像装置1的照相机部11中的摄像部2和姿势传感器7b配置在工业用内窥镜400的前端侧，在工业用内窥镜400的近前侧配置剩余的各个部。此外，适当配置工业用内窥镜特有的部件，例如前端部的弯曲用操作部件等。

图20B示出将工业用内窥镜400插入到机械500的内部时的显示部8中的显示。时刻T21是图20A所示的状态，离开了机械500的内部的壁面501。在该状态下，用户能够观察到机械500的内部的壁面501和棚部503，能够把握整体形状。

在图20B中，在到达时刻T22后，用户将工业用内窥镜400插入到壁面501侧，过于靠近壁面，很难把握机械500的内部的整体形状。当判定为很难根据图像数据进行整体形状的把握时(在图5的S17中是判定为需要自动进行引导的状态)，如图20B所示，控制部1进行“无法把握整体形状”的警告显示。

在判定为很难进行整体形状的把握并到达时刻T23后，将在判定为需要引导以前所存储的辅助图像310d显示为副图像。在将可知整体形状的辅助图像310d显示为副图像后，用户容易推测当前的位置，可知向哪一方旋转能返回到原来的位置。时刻T24表示使工业用内窥镜400旋转的情况下的显示图像。

这样，本发明能够应用于工业用内窥镜或医疗用内窥镜。在如内窥镜这样插入到机械内部或体内，用户无法一边直接观察装置一边进行操作的情况下，容易看丢对象物。在该情况下，如上述实施方式和变形例这样，只要能够参照看丢对象物以前的辅助图像和操作履历，就能够容易找出对象物。

如以上所说明那样，在本发明的一个实施方式和变形例中，拍摄对象物，输出图像数据(例如，图5的S3)，记录摄像时的操作履历(例如，图5的S5)，根据过去取得的图像和已记录的操作履历，来确定与过去的图像和当前的差异相关的引导(图5的S17的“是”以后)。因此，在看丢了摄影对象物或者观察对象物时，为了找出该对象物，无需大视场角的摄像部。即，由于根据操作履历，根据与过去到当前的差异相关的信息来引导，所以能够容易找出看丢以前的观察对象。

此外，在本发明的一个实施方式和变形例中，拍摄对象物并输出图像数据(例如，图5的S3)，将图像数据存储为辅助图像(例如，图5的S5)，指示用于找出对象物的引导显示(例如，图5的S17的“是”)，在对引导显示进行了指示时，将看丢对象物以前存储的辅助图像显示在显示部上(例如，图6、图4的时刻T3、图15A、图15B、图16的辅助图像310a～310c等)。因此，在看丢了摄影对象物或者观察对象物时，为了找出该对象物，无需大视场角的摄像部。即，由于显示过去到当前的与差异相关的辅助图像，所以能够容易找出看丢以前的观察对象。

另外，虽然在本发明的一个实施方式和变形例中，在图4、图15A、图15B、图16、图18中示出了引导显示的各种例子，但是也可以将它们适当地组合。尤其是可以将辅助图像的数量及其配置、用于引导的箭头等符号、和利用文本进行的引导显示等适当组合或者变更。

此外，虽然在本发明的一个实施方式中，将摄影控制部1a、图像判定部1b、引导部1d记载为控制部1内的各个部，但是可以由软件构成各个部的全部或者一部分，利用控制部1内的CPU来执行，相反也可以由硬件构成。此外，通信部6可以设为能够在主体部12上与外部的服务器等进行通信，通过外部服务器执行引导部1d等控制部1的功能的一部分，从该外部服务器接收并显示引导显示。

此外，在本发明的一个实施方式和变形例中，作为用于拍摄的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，也可以是摄像机、摄影机这样的动态图像用的照相机，并且当然可以是内置在移动电话、智能手机、便携信息终端PDA(Personal Digital Assist：个人数字助理)、个人计算机(PC)、平板型个人计算机、游戏设备等中的照相机。此外，即使是与可移动控制的机器人、无人机(无人且能够通过远程操作或者自动控制飞行的小型的无人航空器)协作的摄影设备、摄像设备或者车载设备，也能够应用本发明。

此外，由于本发明的摄像操作引导装置具有：摄像元件，其拍摄对象物，并输出图像数据；以及存储器，其将针对摄像元件的朝向或位置等的操作作为时间变化来记录履历，所以，能够进行针对各种朝向或位置的辅助或引导。即，能够根据记录在存储器中的过去的操作履历与最近的操作履历的比较，活用过去的经验。并且，通过判定能够很好地发现对象物时和不能很好地发现对象物时并存储为履历信息，还成为能够蓄积操作过程的试错的结果的系统，即使与对人工智能的学习并用，也能够实现广泛的效果。即，确定与过去的图像和当前的差异相关的引导的控制器还具有摄像的状况或环境等的传感器，在如判定细微的状况的情况下，通过人工智能的并用，能够进行更高性能且有效的引导和辅助。当然，引导和辅助不仅利用显示进行，也可以利用声音引导、声音辅助、或振动和运动进行。在本发明的实施方式中，以伴随着位置、朝向或视场角的变化的看丢为中心进行了说明。但是，不限于此，由于明亮度和曝光、动态范围的关系、位置和焦点、景深深度的关系或图像处理的适当与否，也会产生看丢。在由于这样的操作和状况的差异而发生看丢的情况下，也能够应用本发明。

此外，本发明不限于摄像装置，还能够应用于各种装置，例如显微镜和内窥镜等，还能够在显微镜的试样移动、替换比较时的看丢和无法发现的情况、和插拔手术用内窥镜时的看丢和无法发现的情况等中的辅助中使用。无论是哪种设备，只要是连续观察或记录对象物的设备，则能够应用本发明。

此外，关于记录在该记录介质、记录部中的记录方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。关于记录在该记录介质、记录部中的记录方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。

此外，关于权利要求、说明书和附图中的动作流程，为了方便，使用“首先”、“接着”等表现顺序的语言进行了说明，但在没有特别进行说明的场所，不是指必须按该顺序进行实施。

本发明未原样限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可以适当组合不同实施方式的结构要素。

Claims (9)

1.一种摄像操作引导装置，其具有：

摄像部，其拍摄对象物，输出图像数据；

操作履历部，其记录针对上述摄像部的操作履历，其中，上述操作履历部记录的上述操作履历包含：改变上述摄像部的视场角的操作信息、使上述摄像部的左右上下的方向发生变化的操作信息、使上述摄像部的明亮度发生变化的信息、使上述摄像部的焦点发生变化的信息、摄影镜头的距离信息、视场角信息、焦距信息、摄影镜头的光轴方向信息、进深方向信息、曝光信息、画面的明亮度信息、被操作的操作部件的种类和操作量信息、是否发现对象物的信息、动态范围信息、景深深度信息和图像处理的适当与否的信息中的至少1个；以及

引导部，其在判定看丢了上述对象物时，根据在上述操作履历部中记录的操作履历，确定与过去的图像和当前的差异相关的引导，

其中，上述引导部根据对于看丢所述对象物具有支配性的操作项目，来确定上述引导。

2.根据权利要求1所述的摄像操作引导装置，其中，

上述引导部在当前的图像拍摄时生成图像文件，该图像文件记录了上述过去的图像、表示操作的符号和文本中的至少1个，作为与过去的图像和当前的差异相关的引导。

3.根据权利要求1所述的摄像操作引导装置，其中，

上述摄像操作引导装置具有指示部，该指示部用于指示用于找出上述对象物的引导显示，

上述指示部在通过手动操作指示了上述引导显示时、或者根据上述图像数据，来进行判定。

4.一种摄像操作引导方法，具有以下步骤：

拍摄对象物，输出图像数据；

记录上述拍摄时的操作履历，其中，记录的上述拍摄时的上述操作履历包含：改变上述摄像部的视场角的操作信息、使上述摄像部的左右上下的方向发生变化的操作信息、使上述摄像部的明亮度发生变化的信息、使上述摄像部的焦点发生变化的信息、摄影镜头的距离信息、视场角信息、焦距信息、摄影镜头的光轴方向信息、进深方向信息、曝光信息、画面的明亮度信息、被操作的操作部件的种类和操作量信息、是否发现对象物的信息、动态范围信息、景深深度信息和图像处理的适当与否的信息中的至少1个；以及

在判定看丢了上述对象物时，根据过去取得的图像和已记录的上述操作履历，确定与过去的图像和当前的差异相关的引导，

其中，根据对于看丢所述对象物具有支配性的操作项目，来确定上述引导。

5.一种摄像操作引导装置，其具有：

摄像部，其拍摄对象物，输出图像数据；

操作履历部，其记录针对上述摄像部的操作履历，其中，上述操作履历部记录的上述操作履历包含：改变上述摄像部的视场角的操作信息、使上述摄像部的左右上下的方向发生变化的操作信息、使上述摄像部的明亮度发生变化的信息、使上述摄像部的焦点发生变化的信息、摄影镜头的距离信息、视场角信息、焦距信息、摄影镜头的光轴方向信息、进深方向信息、曝光信息、画面的明亮度信息、被操作的操作部件的种类和操作量信息、是否发现对象物的信息、动态范围信息、景深深度信息和图像处理的适当与否的信息中的至少1个；

图像数据存储部，其存储上述图像数据作为辅助图像；

指示部，其用于指示用于找出上述对象物的引导显示；以及

引导显示部，其在由上述指示部指示了引导显示时，显示在判定为看丢对象物以前存储在上述图像数据存储部中的辅助图像，

其中，在由上述指示部指示了引导显示时，检索过去的类似状况，并根据检索结果来进行引导显示。

6.根据权利要求5所述的摄像操作引导装置，其中，

上述指示部在通过手动操作指示了上述引导显示时、或者根据上述图像数据，来进行判定。

7.根据权利要求5所述的摄像操作引导装置，其中，

上述引导显示部并列显示当前的图像和上述辅助图像双方。

8.根据权利要求5所述的摄像操作引导装置，其中，

该摄像操作引导装置具有操作履历部，该操作履历部记录针对上述摄像部的操作履历，

在选择了显示在上述引导显示部上的上述辅助图像中的任意辅助图像时，对从记录所选择的辅助图像的时刻开始的操作履历进行显示。

9.一种摄像操作引导方法，具有以下步骤：

拍摄对象物，输出图像数据；

记录上述拍摄时的操作履历，其中，记录的上述拍摄时的上述操作履历包含：改变上述摄像部的视场角的操作信息、使上述摄像部的左右上下的方向发生变化的操作信息、使上述摄像部的明亮度发生变化的信息、使上述摄像部的焦点发生变化的信息、摄影镜头的距离信息、视场角信息、焦距信息、摄影镜头的光轴方向信息、进深方向信息、曝光信息、画面的明亮度信息、被操作的操作部件的种类和操作量信息、是否发现对象物的信息、动态范围信息、景深深度信息和图像处理的适当与否的信息中的至少1个；

存储上述图像数据作为辅助图像；

指示用于找出上述对象物的引导显示；以及

在指示了上述引导显示时，将在判定为看丢对象物以前存储的辅助图像显示在显示部上，

其中，在指示了上述引导显示时，检索过去的类似状况，并根据检索结果来进行引导显示。

Images