CN101783878A - 图像处理装置及方法 - Google Patents

Abstract

本发明提供一种图像处理装置及方法，所述装置包括：设置单元，被配置为在用于向所述观察者显示图像的显示区域内设置基于观察者的盲点位置的盲点区域；以及通知单元，被配置为，当所述盲点区域内的显示由于所述观察者观察的观察环境的改变而改变时，向所述观察者通知所述盲点区域内的改变。

Description

图像处理装置及方法

技术领域

本发明涉及用于向观察者显示图像的图像处理装置及图像处理方法。

背景技术

在称为“微显示器”的显示设备(例如小型液晶屏或有机电致发光(EL)显示器)中，已开发出通过使用放大光学系统允许观察者观察虚像的装置。该装置用于检查由视频摄像机或数码照相机拍摄的帧或使得能够进行焦距调整的电子取景器(EVF)。

近年来，为了在摄像设备中利用电子取景器以更高的分辨率执行焦距调整，开发出了更高清晰度的显示设备用于电子取景器。由于显示设备的大小变小而清晰度变高，所以即使在增加倍率和观察者希望观察大的图像时，也能够提供高质量图像。此外，通过电子取景器所观察的图像的视角通常较大。

在例如电子取景器等显示所观察图像的装置中，如果所观察的图像的视角很大，则所观察图像的某个区域可能会在观察者的盲点位置中形成图像，从而在所观察图像中生成观察者不能识别的区域。例如，在传统电子取景器中，一只眼的视角大约为12°，因此位于大约15°处的盲点不会引起问题。然而，在具有大于15°的视角的电子取景器中，盲点可能会成为问题。

尤其是在视频摄像机或数码照相机的取景器中，如果在观察者确定了要拍摄的帧之后有侵入物体进入与盲点对应的区域，则观察者会看不到侵入物体。结果，可能会拍摄到观察者不期望的图像。

作为考虑了观察者的视线的传统技术，日本专利申请特开平第08-223468号公报讨论了这样一种技术，即检测观察者的视线方向，并根据观察者的该视线方向改变拍摄范围。然而，在日本专利申请特开平第08-223468号公报所讨论的技术中，当观察大视角的图像时，存在这样的可能，即观察者可能看不到在与盲点对应的位置上显示的入侵物体。

作为考虑了观察者的盲点的传统技术，日本专利申请特开平第11-174986号公报讨论了这样一种技术，即在与观察者的盲点对应的位置上显示图像的低质量部分。然而，在日本专利申请特开平第11-174986号公报所讨论的技术中，虽然根据观察者的盲点来改变观察者所观察的图像，但是不能够防止由观察者的盲点引起的遗漏。

发明内容

根据本发明的一个方面，提供一种装置，该装置包括：设置单元，被配置为在用于向所述观察者显示图像的显示区域内设置基于观察者的盲点位置的盲点区域；以及通知单元，被配置为当所述盲点区域内的显示由于所述观察者观察的观察目标的改变而改变时，向所述观察者通知所述盲点区域内的改变。

通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚，在附图的全部图中，类似的标号指定相同或类似的部分。

附图说明

被并入说明书并构成说明书的一部分的附图例示了本发明的示例性实施例、特点和方面，并同文字描述一起用以说明本发明的原理。

图1示出根据第一示例性实施例的图像处理装置的配置。

图2示出人的右眼的水平截面图。

图3示出在显示单元的显示面上的图像配置与观察者的盲点之间的位置关系。

图4示出在盲点范围内的物体的入侵。

图5示出根据第一示例性实施例的盲点范围内的物体的检测和通知的具体处理流程。

图6示出根据第二示例性实施例的图像处理装置的配置。

图7示出被摄体从显示面的中心向左偏移5°的情况。

图8示出物体从拍摄的帧的外部移动以出现在显示面上的状态。

图9示出根据第三示例性实施例的图像处理装置的配置。

图10示出第二摄像设备、第二成像透镜、和第二检测单元的功能。

图11示出根据第四示例性实施例的图像处理装置的配置。

图12示出在显示设备的显示面上的图像配置和观察者的盲点之间的位置关系。

图13示出当图像处理装置围绕观察者的视线方向旋转90°时的显示面上的图像。

具体实施方式

以下将参考附图详细说明本发明的各个示例性实施例、特征和方面。

图1示出根据第一示例性实施例的图像处理装置101的配置。以下，将参照图1描述图像处理装置101的各组件。

摄像设备102包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。获得在摄像设备102上形成的图像作为数字图像数据。可以任意地选择摄像设备102的像素数。包括水平方向的1920像素和垂直方向的1080像素的大约207万像素的存在使得能够拍摄高清晰度的图像。然而，也可以选择具有比高清晰度类型的像素数更高清晰度的摄像设备，或具有更低分辨率的摄像设备。

成像透镜103被配置为在摄像设备102上形成被摄体像。在图1中，成像透镜103具有变焦机构(未示出)，其使得用户能够根据来自观察者的指令任意地改变在摄像设备102上形成的被摄体像的倍率。

记录单元104(本示例性实施例的记录单元104)包括硬盘或半导体存储器，并记录由摄像设备102获得的数字图像数据。要存储的数字图像数据可以是由其他处理单元进行过图像处理的数据。

显示单元105(本实施例中的显示单元105)具有显示区域，并包括阴极射线管(CRT)、液晶显示器(LCD)、或有机发光二极管(OLE)。然而，也可以使用通过小型反射镜(其使用近来实用化的微电机系统(MEMS))扫描点光源以形成二维图像的显示单元，或者基于数字微镜设备(DMD)的显示单元。显示单元105可以向观察者显示所获得的数字图像数据。为了显示高清晰度的图像，正如摄像设备102一样，使用水平方向的1920像素和垂直方向的1080像素。

在本示例性实施例中，显示单元105在其下部位置包括数字显示设备，以显示字母和数字。数字显示设备的位置不限于显示单元105的下部位置，还可以位于其上部位置或左侧/右侧。为了使得能够显示除了拍摄的图像之外的信息，可以使用相比于水平方向的1920像素和垂直方向的1200像素的摄像设备102的分辨率具有更多像素的显示单元105，并且可以省掉数字显示设备。后面将详细描述由数字显示设备显示的字母和数字。

目镜透镜106被配置为便于观察者观察由显示单元105显示的图像。已经提供了对于目镜透镜的各种配置，因此将省略其详细描述。

取景器单元107包括显示单元105和作为取景器单元107的光学元件的目镜透镜106。观察者通过取景器单元107的目镜透镜106观察由显示单元105呈现的图像。一般而言，视力为1.0的人眼具有1’的分辨率。当显示单元105的水平方向的像素数为1920时，将取景器单元107的水平视角设置为32°，从而在观察者的视角中，一个像素具有1’的分辨率。在本示例性实施例中，将取景器单元107的观察图像的纵横比设置为16∶9，这是数字广播的标准。因此，垂直方向的视角为18°。

拍摄图像信号处理电路108包括中央处理单元(CPU)和用于存储图像处理程序的随机存取存储器(RAM)。拍摄图像信号处理电路108对摄像设备102获得的数字图像数据执行图像处理。

检测单元109(本示例性实施例的检测单元109)包括CPU和用于存储检测处理程序的RAM。

检测单元109执行检测处理，用于从拍摄图像信号处理电路处理的数字图像数据中检测预定区域。

显示图像信号处理电路110包括CPU和用于存储图像处理程序的RAM。显示图像信号处理电路110对由拍摄图像信号处理电路108进行了图像处理的数字图像数据执行图像处理，以在显示单元105上显示图像。

接下来，将描述人眼的盲点。

图2示出人的右眼的水平截面图。当观察被摄体时，人通过晶状体201执行焦距调整，以在视网膜202上形成被摄体像。在附图中，为了更容易理解，在视网膜202和眼球的内壁表面之间提供间隙。然而，实际上，视网膜202刚好位于眼球的内壁表面上。人眼的具有最高分辨率的位置是视网膜上称为中央凹(fovea centralis)203的位置。因此，由人注视观察的部分在中央凹203上形成图像。

视网膜202上的成像位置以与当前观察的物体的位置相反的方向形成。因此，在图2的眼球结构中，在远离中央凹203的身体中心侧，换句话说，在右侧水平方向(即耳侧方向)上距图像中心约13°至18°以及在垂直方向上分别从图像中心向上2°和向下4°的范围内存在称为“盲点204”的神经束。盲点204不包括视细胞，因此人不能够观察到在盲点204上形成的图像。

接下来，将描述由检测单元109基于图像检测与观察者的盲点相应的范围的方法。

图3示出在显示单元105的显示面上的图像配置与观察者的盲点204之间的位置关系。图3中所示的显示单元105具有水平方向的1920像素和垂直方向的1080像素。因此，如图3所示，将显示单元105的水平方向设置为X方向，将垂直方向设置为Y方向，将左上角的像素设置为(1，1)，以及将右下角的像素设置为(1920，1080)。当作为观察者的观察目标的被摄体位于显示面的中心上时，观察者注视观察显示面的中心，并且在视网膜202上的中央凹203中形成显示面的中心的图像。

在本示例性实施例中，从取景器单元107的左端到右端的水平视角为32°，因此将视角设置为在画面的右半部分中距图像的中心16°。盲点204位于从图像中心向水平右侧13°至18°，因此在取景器单元107的显示面上，盲点204为从水平右侧13°的位置到显示面的右端。可以通过以下表达式(1)计算显示面上与盲点204对应的位置(从显示面的中心向水平右侧13°的位置)：

$\frac{\tan 13}{\tan 16}\×960+960=1732.....\left(1\right)$

因此，在图3中盲点204是第1732像素。

在垂直方向上，盲点204位于向上2°和向下4°。因此，当执行类似的计算时，在相应的图像位置上，在由A(1732，421)，B(1732，778)，C(1920，778)和D(1920，421)四个点围绕的范围内的像素成为观察者的盲点范围301(由于观察者的盲点位置，使得盲点区域不可见)。观察者不能够识别出在所述盲点范围301内的图像改变。

图4示出进入盲点范围301的物体。在图4中，观察者在拍摄的帧的中心设置被摄体401，以通过图像处理装置101拍摄被摄体。在这种状态下，当观察者注视观察被摄体401时，观察者不能够识别在盲点范围301内的图像改变。因此，如果物体402从当前拍摄的帧的外部沿图4中的箭头方向E前行而出现在拍摄的帧中，则观察者不能够注意到在盲点范围301内的物体402的出现。如果物体402出现在拍摄的帧中而观察者未注意到该物体，则拍摄到观察者不期望的图像。

在本示例性实施例中，从拍摄图像信号处理电路108向检测单元109发送来自摄像设备102的与观察者的盲点范围301相对应的图像信号。检测单元109计算本示例性实施例的摄像设备102的各个帧频率的图像之间的差。如果改变前后盲点范围301内的图像信号之间不存在差(或差等于或小于预定值)，则在帧中的盲点范围301内未出现物体402。另一方面，如果盲点范围301内的图像信号之间存在差，则在盲点范围301内出现物体402。如果通过以上处理检测到在盲点范围301内出现物体402，则检测单元109向显示图像处理电路110发送指示检测到物体402的信号。

在从检测单元109接收到指示检测到物体402的信号之后，显示图像信号处理电路110在显示单元105上的图像的右下部叠加被发送至显示单元105的、用于警告的图像信号(例如“盲点范围警告”)。

因此，当观察者注视观察显示面的中心时物体402出现在盲点范围301内时，观察者仅通过观察取景器单元107的图像即能够识别出在盲点范围301内物体402的出现。

显示警告的部分不限于右下侧。可以使用盲点范围301外的任意部分。可以不在显示单元105的图像中显示警告。相反，数字显示设备可以仅显示简单的标记。警告消息不限于上述内容。可以使用通知观察者不期望的物体402可能出现在帧内的任意消息，例如“盲点范围检查”。作为对显示警告消息的替代，可以在不干扰拍摄的情况下使用语音告知或向观察者施加振动的通知。

在本示例性实施例中，在由所述点A至D围绕的范围内设置从摄像设备102向检测单元109发送的盲点范围301的图像信号。然而，盲点范围301在个体之间不同，因此盲点范围301在一个观察者和另一个观察者之间略微不同。因此，为了校正这种个体差异，可以使用标志来执行校正。

以下将描述校正个体差异的方法。首先，在观察者观察取景器单元107的显示面的中心的状态下，显示单元105显示标志。当在该状态下移动标志时，指定在观察者注视观察显示面的中心的状态下不能够观察到标志的部分。还可以执行用于确定要发送至检测单元109的摄像设备102的图像信号的校准。这样，可以检测与观察者之间的个体差异相对应的盲点范围301。

本示例性实施例是通过观察者用右眼观察取景器单元107的图像的实例来描述的。在左眼观察的情况下，观察者的盲点范围与在用右眼观察图像的情况下的观察者的盲点范围301关于图像的水平中心左右对称。

因此，在用左眼观察取景器单元107的图像的情况下，在图3所示的坐标上，向检测单元109发送的范围是由点A’(0，421)、点B’(0，778)、点C’(188，778)和点D’(188，421)围绕的范围。可以通过操作开关(未示出)来切换是使用观察者的右眼还是左眼。由于通过操作开关来切换从拍摄图像信号处理电路108向检测单元109发送的检测范围，所以该装置既可以处理观察者的右眼也可以处理观察者的左眼。

作为另一种选择，可以基于取景器单元107的安装方向确定是使用观察者的右眼还是左眼。在这种情况下，基于取景器单元107的安装方向，可以自动确定从拍摄图像信号处理电路108向检测单元109发送的检测范围。

当拍摄被摄体时，存在不在意帧中出现物体402的情况。在这种情况下，对于观察者来说，每次在观察者的盲点范围301内出现物体402时均进行通知可能令人厌烦。

因此，在本示例性实施例中，在图像处理装置101中配置用于开始和停止通知单元的物体检测的开关。在本示例性实施例中，可以仅在通过图像处理装置101记录移动图像期间运行通知单元的功能。

当图像处理装置101在拍摄图像的同时执行平移或倾斜操作时，由于在检测范围内的图像信号之间产生差，检测单元109错误地检测到物体的出现。在平移或倾斜操作期间，被拍摄的所有图像信号都发生改变。因此，图像处理装置101提供有如下功能，即用于根据所有图像信号进行判断来确定在拍摄图像信号处理电路108中是否执行了平移或倾斜操作，并确定是否向检测单元109发送图像信号。类似地，当图像处理装置101在拍摄图像时移动成像透镜103以执行变焦时，由于在检测范围内的图像信号之间产生差，检测单元109检测到物体的出现。因此，在所述平移或倾斜操作的情况下，在变焦期间，由所有拍摄的图像确定是否从拍摄图像信号处理电路108向检测单元109发送检测范围的信号。

作为另一方法，在移动成像透镜103时，不从拍摄图像信号处理电路108向检测单元109发送信号。该方法能够防止检测单元109的错误检测。

接下来，将描述在本示例性实施例中用于检测盲点范围内的物体的具体处理流程。

图5示出根据本示例性实施例的用于检测和通知盲点范围内的物体的具体处理流程。图5中的各处理步骤分别由图像处理装置101中包含的拍摄图像信号处理电路108、检测单元109、和显示图像信号处理电路110来执行。

在步骤S501，拍摄图像信号处理电路108从摄像设备102获得数字图像数据，通过执行预定的图像处理生成图像，然后向显示图像信号处理电路110发送图像信号。在这种情况下的图像处理包括检测和设置图像信号的盲点范围301。

在步骤S502，检测单元109确定物体检测功能的开关是否为ON。如果物体检测功能的开关为ON(在步骤S502中为是)，则处理进行到步骤S503。如果不是ON(在步骤S502中为否)，则处理进行到步骤S507。

在步骤S503，拍摄图像信号处理电路108用作方位检测单元，其确定观察者是否正在执行平移/倾斜/变焦操作。如果确定观察者正在执行平移/倾斜/变焦操作(在步骤S503中为是)，则处理进行到步骤S504。另一方面，如果没有确定观察者正在执行平移/倾斜/变焦操作(在步骤S503中为否)，则处理进行到步骤S507。拍摄图像信号处理电路108向检测单元109发送图像信号。

在步骤S504，检测单元109检测在接收的图像信号的盲点范围301中图像的改变。图像改变的检测使得能够检测在显示区域中的盲点区域中物体的入侵。当检测单元109检测到图像的改变时，处理进行到步骤S505。当检测单元109没有检测到图像的改变时，处理进行到步骤S507。

在步骤S505，检测单元109向显示图像信号处理电路110发送指示检测到物体的信号。

在步骤S506，拍摄图像信号处理电路108在接收的图像信号上叠加警告消息，以生成上面叠加有警告消息的图像信号。

在步骤S507，拍摄图像信号处理电路108使得显示单元105显示图像。当检测单元109检测到盲点范围301内的物体时，所显示的图像上叠加有警告消息。当检测单元109没有检测到物体时，在所显示的图像上没有叠加警告消息。

根据本示例性实施例的用于检测和通知盲点范围内的物体的具体处理流程如上所述。每个步骤可以通过存储用于执行预定处理的计算机程序的一般的个人计算机来执行。

如上所述，即使当观察者将要拍摄的被摄体401设置在图像中心以注视观察被摄体时，也可以向观察者通知在观察者的盲点范围301内出现物体402。因此，观察者可以知道在拍摄的帧中出现不期望的物体402。结果，观察者可以通过改变要拍摄的帧或取消摄像操作来防止拍摄不期望的图像。

下面，将描述当检测单元109检测到物体402的出现但观察者继续拍摄图像时用于防止观察者拍摄不期望的图像的方法。当检测单元109检测到物体402的出现，并且拍摄图像信号处理电路108向记录单元104发送图像信号时，拍摄图像信号处理电路108发送通过用在盲点范围301内物体402出现之后的图像代替出现之前的图像所获得的信号。通过该方法，可以使得在图像处理装置101中记录的图像是没有出现物体402的图像，从而防止观察者拍摄不期望的图像。

在本示例性实施例中，由显示单元105显示的图像是由摄像设备102拍摄的真实空间的图像。图像处理装置还可以适用于例如通过使用计算机图形显示虚拟空间的图像的情况。

图6示出根据第二示例性实施例的图像处理装置101的配置。

本示例性实施例的图像处理装置101的配置几乎类似于第一示例性实施例，并且类似于第一示例性实施例的元件具有类似的标号。本示例性实施例与第一示例性实施例的区别在于取景器单元107包括用于对观察者的眼球进行照射的照明单元601和用于检测观察者的视线方向的视线检测单元602。在本示例性实施例中，观察者用右眼观察取景器单元107的图像。

照明单元601包括发光单元(例如一般的发光二极管(LED))，以对观察者的眼球进行照射。

视线检测单元602执行视线方向检测，并包括一般的电荷耦合器件(CCD)图像传感器以检测观察者的视线方向。所检测到的观察者的视线方向的数据被发送至拍摄图像信号处理电路108和检测单元109。

视线检测单元602可以被配置为由照明单元601进行照射的观察者的眼球表面的亮点(即浦肯野图像(Purkinje image))检测观察者的视线方向。可以使用其他的方法，只要所述方法能够检测到观察者的视线方向即可。

根据本示例性实施例的用于检测和通知盲点范围内的物体的具体处理流程几乎类似于第一示例性实施例。与第一示例性实施例的区别在于当检测盲点范围内的物体时检测单元109考虑到观察者的视线方向。

之后，将描述当检测盲点范围内的物体时检测单元109考虑到观察者的视线方向的处理。

图7示出被摄体701从显示面的中心向左偏移5°的情况。如图7所示，当被摄体701没有位于拍摄的帧的显示面的中心位置上而是从显示面的中心位置向左偏移5°时，观察者的注视点也从拍摄的帧的显示面的中心向左偏移5°。当观察者的注视点没有位于取景器单元107的图像中心上时，在摄像设备102上观察者的盲点范围702随着注视点的位置改变。

在第一示例性实施例中，盲点范围301的右端达到所显示图像的外部，因此在显示面中的盲点范围301很小。然而，如图7所示，当观察者的注视点从显示面的中心沿水平方向向左偏移5°时，作为观察者的注视点的左偏移的结果，在所显示的图像中包括观察者的整个盲点范围702。

如上所述，在本示例性实施例中，观察者的注视点从图像的中心位置向左偏移5°。因此，当使用图像中心位置作为基准时，观察者的盲点范围702包括从图像中心沿水平方向向右8°至13°的位置。通过上面在第一示例性实施例中所述的方法可以计算所显示图像的像素位置。观察者的盲点范围702是由F(1430，421)、G(1430，778)、H(1732，778)、和I(1732，421)四个点围绕的范围。观察者不能够识别出在盲点范围702内的图像改变。

图8示出物体801从拍摄的帧的外部移动以出现在显示面中的情况。

如图8所示，当物体801在上述状态下沿箭头方向J从拍摄帧的外部移入时，物体经过在观察者的盲点范围702外的位置，并且因此观察者可以识别出在拍摄的帧中物体的出现。然而，当在观察者的盲点范围702内存在建筑入口等时，物体801可能会出现在观察者的盲点范围702内。然而，可以将视线检测单元602包括在取景器单元107中，从而根据观察者的视线方向改变检测范围。因此，可以在不考虑观察者的注视点的情况下，检测物体801是否出现在观察者的盲点204的范围内。

在本示例性实施例中，从摄像设备102向检测单元109发送的盲点范围702的图像信号在由点E至H围绕的范围内。然而，盲点范围702根据观察者改变。在本示例性实施例中，取景器单元107的视角为32°。因此，当观察者注视观察显示面的中心时，不能够检测观察者的整个盲点范围702。在本示例性实施例中，观察者用右眼观察取景器单元107，因此观察者的盲点范围702位于图像的右侧。所以对于观察者，用于校准的注视点位置被显示在取景器单元107的图像左半部分的中心，换句话说，从图像中心向左8°的位置。在向观察者显示该位置的状态下，显示单元105显示标志。

在这种状态下，观察者通过移动标志来指定观察者在注视观察图像中心时不能够观察到标志的位置，并确定要向检测单元109发送的关于摄像设备102的图像信号。因此，还可以执行校准。通过执行所述校准，可以检测根据观察者的整个盲点范围702，并且可以实现提高观察者的盲点范围702的精度。作为要从拍摄图像信号处理电路108向检测单元109发送的图像信号，发送通过根据观察者的盲点范围702的所述校准获得的图像信号，用于检测单元109的计算。这样，可以执行根据观察者的检测。

在上述示例性实施例中，作为实例，观察者通过使用右眼观察取景器单元107的图像。在用左眼观察图像的情况下，观察者的盲点范围与在用右眼观察图像的情况下的观察者的盲点范围702关于图像的水平中心左右对称。可以通过上面在第一示例性实施例中所述的方法实现处理左眼的配置。

如上所述，即使当要拍摄的被摄体701从显示面的中心偏移时，也可以向观察者通知在观察者的盲点范围702中出现物体801。因此，观察者可以知道在拍摄帧内出现不期望的物体801。结果，观察者可以通过改变要拍摄的帧或取消摄像操作来防止拍摄不期望的图像。

图9示出根据第三示例性实施例的图像处理装置101的配置。本示例性实施例的图像处理装置101的配置几乎类似于第一示例性实施例，并且类似于第一示例性实施例的元件具有类似的标号。

本示例性实施例与第一示例性实施例的区别在于图像处理装置101包括用于拍摄图像的不同于第一摄像设备102的第二摄像设备901、第二成像透镜902、和第二检测单元903。在本示例性实施例中，观察者用右眼观察取景器单元107的图像。

摄像设备901包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，并获得在第二摄像设备901上形成的图像作为数字图像数据。基本配置类似于第一示例性实施例的摄像设备102。

第二成像透镜902是用于在第二摄像设备901上形成被摄体像的透镜。其与第一示例性实施例的成像透镜103的区别在于：能够在比由成像透镜103的变焦机构在宽端侧成像的图像拍摄范围更宽的范围内拍摄图像。

第二检测单元903包括CPU和用于存储检测处理程序的RAM。检测处理程序用于检测由摄像设备102拍摄的拍摄帧外部的移动物体。第二检测单元903连接至显示图像信号处理单元110，以向显示图像信号处理电路110发送在摄像设备102拍摄的拍摄帧外部移动图像的存在。

图10详细示出第二摄像设备901、第二成像透镜902、和第二检测单元903的功能。

第二摄像设备901可以通过第二成像透镜902在范围1002内拍摄图像，所述范围1002宽于由第一成像透镜103的变焦机构在宽端侧成像的图像拍摄范围1001。第二摄像设备901的拍摄范围1002是由第一摄像设备102拍摄的最大视角的拍摄范围1001的1.5倍大。

如上所述，观察者通过取景器单元107在由第一摄像设备102成像的拍摄范围1001内检查拍摄帧，并且存在图10所示的成为观察者的盲点204的盲点范围1004。

在观察者的盲点范围1004中，利用上述方法检测是否出现物体。本示例性实施例的第二摄像设备901在宽的拍摄范围1002内拍摄被摄体。因此，第二检测单元903可以在第一摄像设备102拍摄的拍摄范围1001外检测物体1003的运动向量。

第二检测单元903可以检测第一成像透镜103的位置，并在进行检测时在由第二摄像设备901拍摄的范围内提取由第一摄像设备102拍摄的拍摄范围1001。

第一摄像设备102的拍摄范围1001具有可根据第一成像透镜103的位置而变化的变焦倍率。第一摄像设备102的拍摄范围1001的大小在第二摄像设备902的拍摄范围1002内也是可变的。

用于检测运动向量的范围不必是第二摄像设备901的所有图像信号。例如，可以仅使用位于第一摄像设备102所拍摄的拍摄范围1001外并且由图10的虚线所指示的检测范围1005。检测范围1005是在垂直方向上为观察者的盲点范围1004的两倍大并且在水平方向上达到第二摄像设备901的拍摄范围1002的右端的区域。

由于可以检测到第一成像透镜103的位置，因此，第二检测单元903可以根据第一摄像设备102的拍摄范围1001的改变来改变检测范围1005。第二检测单元903可以通过检测物体1003的运动向量来检测当观察者观察取景器单元107时物体1003将出现在成为盲点范围1004的位置上的概率。在基于物体1003的运动向量检测到物体1003将出现在由第一摄像设备102拍摄的拍摄范围1001中的概率之后，在物体1003进入由第一摄像设备102拍摄的拍摄范围1001之前，第二检测单元903向显示图像信号处理电路110发送信号。

在从第二检测单元903接收到信号之后，显示图像信号处理电路110在从拍摄图像信号处理电路108接收的图像的右下部上叠加图像信号“盲点范围警告”以给出警告，并将该图像信号发送到显示单元105。要显示的警告消息不限于以上内容。如在上文的第一示例性实施例中所述，可以采用其他消息和其他通知方法。

在以上示例性实施例中，作为实例，观察者通过使用右眼观察取景器单元107的图像。在用左眼观察图像的情况下，观察者的盲点范围与在用右眼观察图像的情况下的观察者的盲点范围1004关于图像的水平中心左右对称。可以通过在上文中的第一示例性实施例所述的方法来实现用左眼操作的配置。

如上所述，通过通知观察者在观察者的盲点范围1004内出现物体，向观察者通知在拍摄的帧中出现不期望的物体。此外，通过包括第二摄像设备901、第二成像透镜902、和第二检测单元903，可以在物体1003出现在第一摄像设备102的拍摄范围1001之前，向观察者通知物体1003可能将出现在观察者的盲点范围1004内。

结果，观察者可以通过改变要拍摄的帧或取消摄像操作来防止拍摄到不期望的图像。

图11示出根据第四示例性实施例的图像处理装置101的配置。

本示例性实施例的图像处理装置101的配置几乎类似于第一示例性实施例，并且类似于第一示例性实施例的元件具有类似的标号。

本示例性实施例与第一示例性实施例的区别在于提供有陀螺仪传感器(gyrosensor)111，其被配置为检测由观察者使用的图像处理装置101的方位。陀螺仪传感器111检测图像处理装置101的方位。拍摄图像信号处理电路108根据图像处理装置101的方位切换向检测单元109发送的图像信号的范围。在本示例性实施例中，观察者用右眼观察取景器单元107的图像。

下面，将描述本示例性实施例的摄像设备102。摄像设备102具有总共大约2110万像素，包括水平方向的5616像素和垂直方向的3744像素。然而，用于摄像设备102的像素数不限于示例性实施例的摄像设备102的分辨率：可以使用更低分辨率的摄像设备或高清晰度的摄像设备。本示例性实施例的摄像设备102包括CCD或CMOS。

接下来，将描述取景器单元107。对于在本示例性实施例中使用的显示单元105，可以使用任意类型的显示设备，只要如上文中的第一示例性实施例中所述显示单元使得观察者能够检查摄像设备102上的图像即可。本示例性实施例的显示单元105的像素数由水平方向的1200像素和垂直方向的800像素组成。并非对摄像设备102的所有像素数进行显示，而是将摄像设备102的图像稀疏化并进行显示。

观察者通过目镜106观察显示设备105的图像。在本示例性实施例中，取景器单元107具有被设置为36°的水平视角、被设置为3∶2的纵横比、和被设置为24°的垂直视角。

图12示出显示设备105的显示面的图像配置和观察者的盲点204之间的位置关系。

图12示出显示设备105的图像配置和图2中所示的观察者的盲点204之间的位置关系。如图12所示，将显示设备105的水平方向设置为X方向，将垂直方向设置为Y方向，将左上角的像素设置为(1，1)，并将右下角的像素设置为(1200，800)。当观察者将拍摄对象设置在图像中心时，观察者注视图像中心，并且图像中心在视网膜202上的中央凹203上成像。

在本示例性实施例中，从取景器单元107的左端到右端的水平视角为32°，因此视角在从图像中心开始的画面右半部分中是16°。盲点204的位置是从图像中心沿水平方向向右13°至18°，因此在取景器单元107的图像上，该位置是沿水平方向向右13°的位置到图像的右端。可以通过以下表达式(2)计算从图像中心沿水平方向向右13°的位置(成为盲点204的位置)：

$\frac{\tan 13}{\tan 18}\×600+600=1026.....\left(2\right)$

在图12所示的像素中，像素的位置是第1026个。位置是在垂直方向上向上2°和向下4°。因此，当执行类似计算时，对于与观察者的盲点204相对应的像素位置，由K(1026，335)、L(1026，531)、M(1200，531)和N(1200，335)四个点围绕的范围内的像素构成观察者的盲点范围1201。在所述盲点范围1201内，观察者不能够识别出发生的事件。从拍摄图像信号处理电路108向检测单元109发送来自摄像设备102的与盲点范围1201相对应的图像信号，并且可以通过在上文中的第一示例性实施例所述的方法来检测在观察者的盲点范围1201内物体的出现。

图13示出当图像处理装置101围绕观察者的视线方向旋转90°以便使用时的显示面的图像。

当图像处理装置101小到足以由观察者携带时，图像处理装置101可以旋转90°。在这种情况下，通过取景器单元107观察的图像如图13中所示。当在这种状态下观察者使用图像处理装置101时，在对于观察者为水平方向的图13的Y方向上的视角为24°。因此，在观察的图像中不包括观察者的盲点范围1201。

本示例性实施例的图像处理装置101包括陀螺仪传感器111。当垂直使用图像处理装置101时，向拍摄图像信号处理电路108发送陀螺仪传感器111的方位状态。当通过陀螺仪传感器111通知了图像处理装置101的垂直使用时，拍摄图像信号处理电路108不向检测单元109发送图像信号，从而防止检测单元109的错误检测。

在本示例性实施例中，取景器单元107的水平视角为36°。然而，如果在纵横比为3∶2的情况下将取景器单元107的水平视角设置为40°或更大，则当垂直使用图像处理装置101时，在观察的图像中包括观察者的盲点范围1201。当如上所述设置取景器单元107的水平视角时，拍摄图像信号处理电路108存储在水平使用图像处理装置101的情况下的检测范围，以及在垂直使用图像处理装置101的情况下的检测范围。

陀螺仪传感器111检测图像处理装置101的方位，并且，根据所检测的方位，能够切换从拍摄图像信号处理电路108向检测单元109发送的图像信号的检测范围。通过前述方法，即使当垂直使用图像处理装置101时，也能够检测到在观察者的盲点范围1201内物体的出现。

在上述示例性实施例中，作为实例，观察者可以通过使用右眼观察取景器单元107的图像。在用左眼观察图像的情况下，观察者的盲点范围与在用右眼观察图像的情况下的观察者的盲点范围1201相对于图像的水平中心左右对称。可以通过上文中的第一示例性实施例的方法来实现用左眼的操作的配置。

上文中的第一示例性实施例的方法能够实现观察者的盲点范围1201的精确校准。所校准的观察者的盲点范围1201可以反映在图像处理装置101的方位的检测范围上。

此外，图像处理装置101可以包括上文中的第二示例性实施例所述的视线检测单元，从而使得能够根据观察者的视线方向改变检测范围。

当拍摄被摄体时，可能不在意帧中物体的出现。在这种情况下，如果在观察者的盲点范围1201中每次出现物体时均发出警告，则观察者可能感觉到厌烦。因此，图像处理装置101可以包括被配置为停止本发明的上述功能的开关。此外，可以仅在图像处理装置101处于对焦状态时运行本发明的上述功能。

如上所述，将在观察者的盲点范围1201内物体的出现通知给观察者。因此，观察者可以知道在拍摄帧内出现不期望的物体。通过基于图像处理装置101的方位改变检测物体的范围，能够消除由于使用状态引起的错误检测。结果，观察者可以通过改变要拍摄的帧或取消摄像操作来防止拍摄到不期望的图像。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽泛的解释，以使其涵盖所有变形例、等同结构和功能。

Claims (16)

1.一种装置，该装置包括：

设置单元，被配置为在用于向所述观察者显示图像的显示区域内设置基于观察者的盲点位置的盲点区域；以及

通知单元，被配置为当所述盲点区域内的显示由于所述观察者观察的观察目标的改变而改变时，向所述观察者通知所述盲点区域内的所述改变。

2.根据权利要求1所述的装置，该装置还包括：

获得单元，被配置为获得关于所述观察者的盲点差的信息。

3.根据权利要求2所述的装置，其中，所述设置单元基于所获得的信息和所述观察者的所述盲点位置来设置所述盲点区域。

4.根据权利要求1所述的装置，该装置还包括：

图像生成单元，被配置为生成在所述显示区域内显示的多个图像；以及

检测单元，被配置为基于所生成的多个图像之间的差来检测与所述盲点区域相对应的图像的改变。

5.根据权利要求4所述的装置，

其中，当所述检测单元检测到与所述盲点区域相对应的所述图像的改变时，所述通知单元通知所述盲点区域内的所述改变。

6.根据权利要求5所述的装置，该装置还包括：

校正单元，被配置为当所述检测单元检测到所述图像的改变时将所述图像校正为改变之前的图像。

7.根据权利要求1所述的装置，其中：

在所述显示区域内显示的所述图像是由图像拍摄单元拍摄的图像；并且

所述设置单元基于所述图像拍摄单元的方位和所述观察者的所述盲点位置来设置所述盲点区域。

8.根据权利要求1所述的装置，该装置还包括：

视线方向检测单元，被配置为检测所述观察者的视线方向。

9.根据权利要求8所述的装置，

其中，所述设置单元基于所述观察者的所述视线方向和所述盲点位置来设置所述盲点区域。

10.根据权利要求1所述的装置，该装置还包括：

方位检测单元，被配置为检测所述观察者的方位。

11.根据权利要求10所述的装置，

其中，所述设置单元基于所述观察者的所述方位和所述观察者的所述盲点位置来设置所述盲点区域。

12.一种装置，该装置包括：

显示单元，被配置为显示由图像拍摄单元拍摄的图像；

取景器，被配置为经由光学元件向观察者呈现所显示的图像；

设置单元，被配置为在所拍摄的图像内设置基于所述观察者的盲点位置的盲点区域；

检测单元，被配置为检测因所述观察者观察的观察目标的改变引起的所述盲点区域内的图像的改变；以及

通知单元，被配置为向所述观察者通知所述盲点区域内的所述图像的改变。

13.一种方法，该方法包括以下步骤：

由设置单元在用于向所述观察者显示图像的显示区域内设置基于观察者的盲点位置的盲点区域；以及

当所述盲点区域内的显示由于所述观察者观察的观察目标的改变而改变时，由通知单元向所述观察者通知所述盲点区域内的所述改变。

14.根据权利要求13所述的方法，该方法还包括以下步骤：

获得关于所述观察者的盲点差的信息。

15.根据权利要求13所述的方法，该方法还包括以下步骤：

生成在所述显示区域内显示的多个图像；以及

基于所生成的多个图像之间的差来检测与所述盲点区域相对应的图像的改变。

16.根据权利要求15所述的方法，该方法还包括以下步骤：

当所述检测步骤检测到所述图像的改变时，将所述图像校正为改变之前的图像。

Images