CN105829938B - 用于制作场景图像的设备 - Google Patents

Abstract

本发明提供一种用于制作场景(104、105、106)的至少一个图像的设备(100)，以使得穿过或沿着场景、例如沿着景区一段路段或环境运动并希望将该场景拍摄成图像的用户能够无需根据现有技术的操纵或手动操作而有针对性地获取并保留感兴趣的场景的图像，该设备包括至少一个用来拍摄至少一个图像的装置(108)、用来获取至少一个用户(101)行为的装置(111)和控制单元(107)，其用于分析至少一个用户(101)的行为，并且由此根据至少一个用户(101)的行为来获取至少一个控制信号，至少一个控制信号用于控制用于拍摄至少一个图像的设备(108)，该控制包括对拍摄方向(115)以及待拍摄的图像部分或对象(104、105、106)的选择。

Description

用于制作场景图像的设备

技术领域

本发明涉及一种用于制作场景图像的设备。

背景技术

由文本DE 100 24 227 B4已知一种通过电子监控眼睛和眼睑活动来电子监控机动车驾驶员的注意力水平的方法及装置，其中在电子监控到疲劳时发出警报信号并自动减速。获取并评估驾驶员的视线，其中根据模式匹配方法来确定疲劳度和视线。同时还描述了一种用于监控机动车驾驶员眼睛和眼睑活动的方法，在该方法中，ADR调节的、自动控制的成队行驶或拥堵行驶被评估为附加参数并且通过以电子光学方式观察眼睛和眼睑来评估车辆驾驶员的视线。在跟随行驶的情况下，前行者由于注意力不集中或出于技术缺陷或违反情境离开行驶轨道，通过以纠正的方式连同评估驾驶员朝向前方的视线来强迫相关车辆自动跟随行驶。在此，相应地以电子操纵油门和/或电子或电操纵刹车和/或电子或电操纵转向杆的方式进行干预。通过这一方式，机动车驾驶员在必要的情况下可以通过纠正或相应的视线和视线评估来自动控制车辆。总的来说，由于注意力不集中和不仅仅由于困倦所导致的交通状况应是可控的，尤其是如果该车辆与在先行驶的车辆在一个车队中并保持短距离行驶的情况下。

由文本EP 1 211 132 B1已知一种以在广角范围内工作的摄像机、图像加工单元以及图像显示单元来监控车辆周围环境的设备，所述图像加工单元具有用来校正摄像机拍摄的图像的工具，其中用于校正的工具基于所选的图像区来适应地工作并且用于校正的工具基于所选的视线适应地工作。此外还描述了用于监控车辆周围环境的方法，具有如下步骤：利用摄像机捕捉广角范围，在图像加工单元内校正摄像机拍摄的图像以及利用图像显示单元显示至少一张图像。所述校正是根据图像区和视线来完成的，而所述视线是通过操作者、尤其是驾驶员以合适的方式、自动地、尤其是在挂倒车档或根据图像内容、转向角、速度或摄像机的俯仰角选择出来的。

穿过或沿着某一场景、例如沿着穿过风景区或环境的一段路移动并且想要将这些拍摄到图像中的用户必须为此操纵用于获取这一场景图像的设备。但在某些情况下无法实现或只能在忍受巨大不利的情况下完成这种操纵或手动操作，如果所述用户例如不能在任意地点或在任意时间间隔内暂时车辆的移动，例如在车辆移动过程中或在某种情形下，用户由于其他原因没有时间来拍摄相应的图像。

发明内容

本发明的任务是使得能够消除上述缺陷，在不以上述方式单独地操纵或手动操作的情况下使用户能够获取和保留其所感兴趣的场景的图像。

该任务通过如下设备得以完成，该设备利用至少一个用来拍摄至少一个图像的设备，下文均简称为摄像机，利用用来获取至少一个用户的行为的设备，下文简称为获取设备，以及控制单元来制作场景的至少一张图像，而所述控制单元用来分析至少一个用户的行为并根据至少一个用户的行为获取至少一个控制信号，从而控制拍摄至少一张图像的设备，这一过程包括选择拍摄方向以及待拍摄的图像部分或对象。可以选择地或交替地或同时捕捉到一个或多个用户的行为。为简化起见，在下文中使用用户的通用概念。场景能够是用户可注意到的或已经注意到的任意风景或任意过程。

所述至少一张图像，简称图像，在此被理解为以摄影方式拍摄到的单张图像、图像系列、视频镜头等。多个摄像机，例如单图像摄像机或摄影机，其能够按照意愿交替地或同时拍摄多张图像，都可以作为拍摄所述图像的设备，也就是该概念在上述描述中被理解为摄像机。用户的行为在此被理解为用户在不同情况下或针对不同事件的行动和/或反应，也就是用户的动作和运动，尤其是目光和视线。相反地，用户的行为首先不包括典型的或一般的操纵行为或手势、例如操作键盘、按钮等。如本发明所述，控制拍摄图像首先是用户无意识完成的动作，也就是无意识的行为，并且本发明的核心特征建立在获取和评价这种无意识行为的基础之上。此外以与之相配合的方式捕捉类似的、有意识的行为。所述控制单元特定被构造用来评估上文大致描述的用户的行为。所述控制单元被设定用于有目的地评价被表示为无意识的行为并且从而获取用来控制摄像机的至少一个控制信号。所述控制包括选择拍摄方向，也就是在从摄像机要拍摄的图像区或对象的中心出发来看，以及对要拍摄的图像区或对象的大小的选择。此外，所述控制单元有利地包括用于处理、例如校正图像的设备或者用来从根据预先确定的选择标准，从大量拍摄到的图像中选择一张或多张图像的设备。因此通过如本发明所述的设备，通过连续的、自动地评估用户的行为来自动地拍摄图像。

本发明使用户能够自动地拍摄到对他而言更为重要的或看起来重要的场景的图像，也就是风景或过程。而不再需要繁琐地或费时地、尤其是手动操纵摄像机。所述用户例如在行驶过程中在车辆内部，在该处用户可以一起操作如本发明所述的设备，他不必为拍摄图像而停车，而这种情况在特定的交通情况下是不可行的或可能太晚或者用户缺少相应的时间。同样通过如本发明所述的设备可以在用户尚未意识到必要性的情况下拍摄图像；例如通过如本发明所述的设备，在用户做出最终决定之前将用户对于场景出现的特定反应评定为拍摄图像的意愿，并且拍摄相应的图像。用户通过如本发明所述的设备自动获取图像，也就是例如图像或图像片段，并且由此回想到他感兴趣的场景，也就是风景或过程。这样降低了例如车辆行驶过程中发生事故的风险。然后例如用户在特定时间范围内将注意力集中在所要拍摄的场景上，这就足以拍摄图像。所述获取设备获取下这些动作，也就是头部姿势和/或眼睛位置以及上述延续的时间。在所述控制单元内，这些被评定为拍摄图像的意愿并且获取控制信号。通过这一设备，在摄像机内根据通过头部手势和/或眼睛位置所获得的用户的视线方向来调整拍摄方向以及要拍摄的图像区并通过这些调整来自动拍摄图像。可以相似方式单独地或者组合地评估用户的其他任意动作，其中所述动作可被任意确定分配给所获取的控制信号。因此可以非常熟练和灵活地使用如本发明所述的设备。

从属权利要求给出如本发明所述的设备的有利的结构方式。

根据如本发明所述的设备的一个优选改进方案，用来获取至少一个用户行为的装置被构造为带有至少一个光学获取设备和/或至少一个声学获取设备和/或至少一个位置获取设备。例如设计观察摄像机作为所述光学获取设备，用户利用该设备可以至少部分地获取优选眼睛和脸部、但也可以获取例如手及其运动和手势。所述声学获取设备优选配备有至少一个麦克风用来获取用户的声音，但也可以获取用户的语言指令。所述位置获取设备包括优选至少一个位置传感器和/或方向传感器，特别是被构造用于评估用户的头部姿势。特别优选的是，上述获取设备被布置在数据镜中，其包括用于获取头部姿势的一个或多个位置和方向传感器、例如用于获取眼睛位置的观察摄像机和麦克风。在其应用于车辆时，所述光学获取设备优选配备内部摄像机和光学获取设备配备有装在仪表盘上的麦克风。上述结构方案的组合也同样可行。在针对行动人员、优选消防人员的变型应用方案中，已列举出的获取设备被集成到头盔中并且由此可以直接地自动获取行动，但不会由于额外的任务而给行动人员施加负担或影响其行动力。

在如本发明所述的设备的另一个优选的实施方式中，所述控制单元被构造用来确定和/或分析至少一个用户行为的至少下述特征的任意选择和/或组合，下文皆简称为用户：用户视线的持续时间和方向、瞳孔大小和/或用户瞳孔大小的随时间的变化、用户的面部表情、用户的声音和/或语言表达、用户的手势。同时评估这些特征时优选考虑权重。优选原则例如是用户的视线。特别是用户视线偏离行动方向是一个重要的标准，对此有如下解释，这是因为视线偏离用户一直追踪的路径被视作一个明确的证据，表明在该处存在一个值得用户拍摄图像的场景。为识别和评估视线和瞳孔大小，在控制单元内优选具有模式识别的工具。与之类似的是还设计有用来识别手势，例如身体姿势、臂部和手部手势的工具以及识别声音和语言的工具。用于模式识别的工具还用用来评估面部表情。

通过所述控制单元的这种结构方式，例如识别该用户的视线在超出预定极限值的时间范围内对其运动方向侧面的场景、例如建筑物，多次产生兴趣。所述控制单元通过确认持续时间、频率、视线方向和受到的妨碍以及对时间测定、运动和视线方向确定以及形状模式识别的兴趣和注意力，也就是脸部表情和特别是眼睛的反应以及例如被评定为用户注意力标准的瞳孔大小将视线方向上的场景评定为有拍摄价值并且自动地完成摄像机的拍摄。

在另一个优选的改进方案中，如本发明所述的设备的特征在于存储装置，下文简称为存储器，其用于存储一个所拍摄的图像。所述存储器优选地被连接在控制单元上并且用来选择性地存储摄像机拍摄的全部图像或者至少一张由控制单元从这些图像中选定的一张图像。

如本发明所述的设备的另一个优选的实施方式的特征在于显示单元，其用于显示至少一张所拍摄的图像。这样用户可以在操作拍摄后即刻或优选在稍晚的时间点筛选在此期间由设备拍摄完成的图像和/或对其进行加工，例如校正或显示。所述显示设备优选被连接在控制单元上。

此外，所述显示单元优选可用于显示针对控制单元的操纵过程，优选地与如本发明所述的设备的优选改进方案共同作用，据此，操作单元被设计用于通过向控制单元输出操作命令来操作该设备并且优选被连接在所述控制单元上。所述控制设备优选可用来完成对所拍摄的和所存储的图像的手动的、个性化的、稍晚的后期处理以及用于操作控制单元完成该设备上的调节和编程过程。

在如本发明所述的设备的又一个优选的结构方式中设计为与导航单元连接，其被设置用于获取至少一个用户，下文简称为用户的位置和/或运动方向，以及将所获取的位置和/或运动方向传输给控制单元，从而在所拍摄的图像中进行选择和/或与所拍摄图像中至少一张结合起来。在此，所述导航单元优选地连接在控制单元上。由导航单元发出的、描述用户位置和运动方向的数据因此作为共同的数据获取与所属图像结合起来用于在稍晚提取这些图像时发挥辨别和证实的作用，也就是被共同存储下来。拍摄时间和摄像机设置等也可以优选地和图像一起被存储下来。除所列举的用户的一个或多个特征和/或这些特征的组合外，还可以评估由导航单元提供的数据，从而选择对图像的拍摄。为确定用户的位置和/或运动方向，可选择地替代导航单元或与导航单元结合，还可以使用至少一个运动传感器和/或方向传感器，例如指南针设备、行程接收器设备等。在此，由所述导航设备和至少一个运动传感器和/或方向传感器提供的、描述用户位置或运动方向的数据优选地作为补充。

另一个有利的改进方案的特征在于在车辆中使用和/或采用如本发明所述的设备，其中车辆的驾驶者和/或乘客是至少一个用户，简称为用户。在所述优选的实施方式或结构方案中，如本发明所述的设备优选被固定装配在车辆中，并被集成到在该处或为实现车辆的其他控制目的所涉及的控制网络中。这尤其适用于控制单元、内部摄像机、用来拍摄这些图像的设备，例如摄像机，在此优选被构造为车辆上的外部摄像机，麦克风和数据镜，其可用在如本发明所述的设备外部来完成其他任务。这样所有用在如本发明所述设备上的附加仪器开支可以保持很低。

如本发明所述设备的另一个优选结构方案的特征在于与传输单元结合来向和/或通过通信网络传输至少一张所获取的图像。通过这种与传输单元的结合，可以选择地或作为存储在上述存储器中的补充将所拍摄的图像传入通信网络，例如电子邮件接口、社交网络或如本发明所述设备外部的中央存储设备并且例如被发送到其他通信参与者或如存储在如本发明所述设备外部，例如存储在所谓的“云”中，也就是说例如存储在可用通过通信网络达到的通讯网络等的服务供应商的中央存储器中。

按照如本发明所述的设备的一个有利的改进方案与计算机单元结合，用于传输和选择性地处理和/或存储至少一张所拍摄的图像和/或通过所述计算机单元来控制该设备。作为所述操作单元的补充或替代操作单元，如本发明所述的设备因为这种计算机设备可编程、可控制以及可调节，例如为实现维修目的，或作为存储器的补充或替代存储其，存储已经拍摄的图像或者在如本发明所述设备外部加工，例如校正图像。

附图说明

图1示出如本发明所述的设备100的大致图示。

具体实施方式

下文进一步描述附图所示的本发明的实施例。图1示出如本发明所述的设备100的大致图示，用户101在通过方向盘102表示的车辆内作为驾驶者或乘客沿着穿过某景区103的路径地、沿着不同场景或对象运动，在此表示为例如森林104，房屋105和彩虹106。位于车辆内的设备100包括控制单元107，其上连接有用来被设计作为拍摄景色或对象104、105、106的图像的设备108的外部摄像机109，此外内部摄像机112、麦克风113和数据镜114被作为用于获取用户101行为的获取设备111。在变型方案中，所述获取设备111包括内部摄像机112、麦克风113或数据镜114的不同组合形式。通过外部摄像机109、110可以获取不同的拍摄方向以及要拍摄的图像区。例如附图示出所述外部摄像机109的拍摄方向115。可选择地，具有360度图像区的旋转摄像机被构造作为外部摄像机。驱动单元116通过控制单元107控制以将外部摄像机109、110对准到由控制单元107确定的拍摄方向并且由此连接在控制单元107上。另外连接在控制单元107上的还有用于存储由外部摄像机109、110所拍摄的多张图像或其中一张图像的存储器117、用来显示所拍摄图像或控制单元107的操作过程的显示单元118、例如被构造作为键盘并用来操作设备100的操作单元119、被布置用于确定用户101位置和/或运动方向的导航单元120、用于将所获取的多张图像或其中一张图像传输给通信网络或通过通信网络传输的传输单元121和用于传输和选择性地加工或存储所拍摄图像或通过计算机单元122来控制设备100的计算机单元122。在此，导航单元120包括用来接收导航信号的天线123、导航接收器124，例如GPS-接收器，和通过导向信号来确定用户101位置和运动方向的分级125。

如图1所示、在车辆内运动穿过景区103的用户101观察到其感兴趣的景观，例如彩虹106。他将视线126从其运动方向沿着路径移开。通过内部摄像机112和/或数据镜114、也被表示为数码镜，确定其视线126。在多个用户101的情况下也可以推测其视线。对此，内部摄像机112获取下用户101的至少脸部和眼睛，优选还能获取到手部以及数据镜112通过布置在其中的位置和/或方向传感器以及眼睛摄像机获取头部和眼睛的位置。从而还可以确定视线126的时间变化。这些数据都在控制单元107得到分析，为此，除视线转向的持续时间和方向外，瞳孔大小的变化也被作为衡量注意力大小的数值，通过面部表情判断惊讶、生气、高兴等，通过麦克风采集到的语言表达和无意识的惊呼以及通过由内部摄像机112获取手势，例如指示手势等都被单独或结合起来作为判断的标准。通过用来识别脸部表情或手势的工具，优选地通过模式识别以及语言识别来分析用户101的行为特征，并且这些行为特征被指定给对特定意愿活动的假定。这样例如视线126从运动方向上偏离停留了超过预定极限值的时间段，就要被指定给特定意愿活动的假定，即需要给该方向上出现的景观、例如彩虹106拍摄图像。同样，例如用户101的手部的指示手势优选被分配给对意愿活动的假定。在此，为通过所有特征形成的某一意愿活动的假定需要给用户101的行为的单个特征赋予不同的权重。被赋予特别大权重的标准是驾驶者的视线从运动方向、也就是从路径上偏离。

控制单元通过这些特征及其权重确定出衡量所观察到的景观的重要性的数值。在重要性标准足够大的情况下，通过特定的视线推断出存在于车辆外部的、需要拍摄的景观。此后通过外部摄像机109、110拍摄一张或多张图像，需要时被控制单元加工，例如得到校正并且被存储到存储器117中。通过控制单元107的加工优选包括选择一个重要的图像区，特别是当带有360度图像区的旋转摄像机被设计作为外部摄像机109时。另外有利的是，表示所观察到的景观重要性的数值、拍摄的地点和时间、完成拍摄的人也与图像一起被存储下来。另外有利的是，图像选择性地被存储在存储器117中或存储在处于如本发明所述的设备100外部的、与传输单元121连接的中央存储设备中，例如所谓的“云”或者通过其存储。

在所示范例中，用户101行驶在公路上，观察到侧面出现彩虹并一再将视线从公路转移到景观。如本发明所述的设备100例如通过内部摄像机112识别出重复的视线转移，进而判断出该用户关注到这一景观。有些时候，其他特征、例如用户101的面部表情——例如用户101感到惊讶——也被纳入到分析过程。控制单元107根据单个目光的射线超过时间或在此期间行驶的路径来评估需要拍摄的图像区或场景或对象并将其保留在图像中，也就是拍成图像。如果这一评估包括多个可能的场景或对象，如本发明所述的设备100就拍摄多个图像，也就是将所有可能的景观或对象都拍摄成图像。在另一个方案中，如本发明所述的设备100、特别是控制单元107，被构造用于根据每张图像所获取的用户101的行为来评定每张图像对用户101的重要性，也就是通过综合考虑该行为的所有特征来判断用户101所相关图像的兴趣度，例如用户101观察到该景观或对象时的反应有多明显。该控制单元107可以根据对其重要性的评估结果优选地选择最重要的图像，为用户显示在显示单元118上，并存储在存储器117或计算机单元122中，通过传输单元121传输至中央存储器，作为电子邮件或发送到社交网络上或自动删除。

在如本发明所述的设备100的其他技术方案中，如果由于用户101多次无规律地变化视线方向而无法明确地获取视线方向，那么将把整个周围环境拍摄成图像。为此，外部摄像机109优选被构造为旋转摄像机，或利用多个外部摄像机109、110拍摄到的图像在控制单元107内被组合成优选的、完整的全方位视野并被存储下来。这样用户101可以在晚些时候例如通过显示单元118或者计算机单元122选择所期望的图像区。图像被存储在私人的用户账户中，该账户只有完成该图像拍摄的用户可进入。图像可为用户显示在显示单元118、数据镜114或视野显示器——所谓“平视显示器”中。该图像可以插入到通过导航单元120显示在例如显示单元118上的地图图示中。该控制单元107可以根据内容通过模式识别来评估图像，这样可以优选地根据对选择标准的用户配置来将街景、行人、其他车辆等的图像自动分类。该控制单元107可以通过用户的位置和视线方向以及导航单元120的地图数据来评估该视线方向上的场景是否是例如名胜古迹以及是否优选被拍摄，这些也将被纳入到上文提到的对重要性的评估中。这样可以目标更加明确地对准外部摄像机109。可以通过如下方式自动激活该设备100，使得导航单元120根据地图数据辨认出用户101的运动是沿着值得欣赏的自然景观或名胜古迹。

Claims (10)

1.一种用于制作场景(104、105、106)的至少一个图像的设备(100)，包括：

●至少一个装置(108)，用于拍摄所述至少一个图像；

●装置(111)，用于获取至少一个用户(101)的行为；

●控制单元(107)，用于分析所述至少一个用户(101)的行为，并且获取至少一个控制信号，以控制所述设备(108)，以便根据所述至少一个用户(101)的行为来拍摄所述至少一个图像，所述控制包括对拍摄方向(115)以及待拍摄的图像部分或对象(104、105、106)的选择，

其中所述控制单元(107)被构造为分析所述至少一个用户(101)的所述行为的至少下列特征：

●所述至少一个用户(101)的瞳孔大小和/或所述瞳孔大小随时间的变化；

●所述至少一个用户(101)的面部表情；

●所述至少一个用户(101)的声音和/或语言表达；

●所述至少一个用户(101)的手势，

其中所述至少一个用户(101)的视线方向从追踪的路径改变到其他方向导致控制信号，所述控制信号用于获取所述至少一个用户(101)观察的场景的图像。

2.根据权利要求1所述的设备(100)，其特征在于，用于获取所述至少一个用户(101)行为的所述装置(111)被构造为具有至少一个光学获取装置(112)和/或至少一个声学获取装置(113)和/或至少一个位置获取装置。

3.根据权利要求1或2所述的设备(100)，其特征在于，所述控制单元(107)被构造用于分析所述至少一个用户(101)的目光的持续时间和方向。

4.根据权利要求1或2所述的设备(100)，其特征在于存储装置(117)，其用于存储所拍摄的多个图像中的至少一个选集。

5.根据权利要求1或2所述的设备(100)，其特征在于显示单元(118)，其用于显示所拍摄的多个图像中的至少一个选集。

6.根据权利要求1或2所述的设备(100)，其特征在于操作单元(119)，其用于通过向所述控制单元(107)输入操作命令来操作所述设备(100)。

7.根据权利要求1或2所述的设备(100)，其特征在于与导航单元(120)相连接，所述导航单元(120)被设置用于确定所述至少一个用户(101)的位置和/或运动方向，以及用于向所述控制单元(107)传输所确定的位置和/或运动方向，以用于选择待拍摄的图像和/或与所拍摄的多个图像中的至少一个选集相结合。

8.根据权利要求1或2所述的设备(100)，其特征在于在车辆(102)中的应用和/或拍摄，其中，车辆(102)的驾驶者和/或乘客是所述至少一个用户(101)。

9.根据权利要求1或2所述的设备(100)，其特征在于与传输单元(121)相连接，以用于将所获取的多个图像中的至少一个选集传输至通信网络和/或通过通信网络传输。

10.根据权利要求1或2所述的设备(100)，其特征在于,与计算机单元(122)相连接，以用于传输和选择性地处理和/或存储所拍摄到的多个图像中的至少一个选集和/或用于通过所述计算机单元(122)来控制所述设备。