CN106464812A - 生活记录摄像头和根据活动转变控制生活记录摄像头的方法 - Google Patents

生活记录摄像头和根据活动转变控制生活记录摄像头的方法 Download PDF

Info

Publication number
CN106464812A
CN106464812A CN201580031576.7A CN201580031576A CN106464812A CN 106464812 A CN106464812 A CN 106464812A CN 201580031576 A CN201580031576 A CN 201580031576A CN 106464812 A CN106464812 A CN 106464812A
Authority
CN
China
Prior art keywords
sensor
photographic head
change
user
digital picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580031576.7A
Other languages
English (en)
Inventor
H·琼森
O·索恩
科勒·阿加德
M·米德霍特
E·韦斯特纽斯
大卫·德利昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106464812A publication Critical patent/CN106464812A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

一种生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该生活记录摄像头包括：控制电路，其被构造成检测来自传感器的信号中的状态转变，所述状态转变表示用户活动的改变；摄像头模块，其响应于检测到所述状态转变在所述控制电路的控制下捕获所述数字图像；以及存储器，所述数字图像存储在其中。

Description

生活记录摄像头和根据活动转变控制生活记录摄像头的方法
技术领域
本公开的技术总体上涉及生活记录摄像头，更具体地，涉及受到控制以响应于活动转变来拍照片的生活记录摄像头。
背景技术
生活记录摄像头是通常由用户穿戴并且用于捕获用作用户附近出现的事件的摄影记忆的照片的摄像头装置。常规的生活记录摄像头被构造成以时间为基础捕获图像。在一些装置中，例如，每30秒捕获图像。如果在数小时或一整天的过程中一直拍照片，则生活记录摄像头可按预定时间间隔拍数百或数千张照片。在这种方法下，传统生活记录摄像头所捕获图像中的一些图像并不是非常有意思。因此，生活记录摄像头的存储器可能变得装满用户并不关注的照片。更引人入胜的瞬间会相当快速地出现并且是在拍照片的定时间隔之间。然而，难以确定何时出现这些引入入胜的瞬间。
增加所存储的图像的吸引力的一种推荐方式是评价照片中的值得保存的可视内容，诸如，包含人或某些类型的物体在内的图像。可删除其余图像。这种方法带来的问题是，该方法密集地需要处理器并且消耗电力导致电池寿命缩短。
另一种推荐技术是将拍照片与装置的位置同步，诸如，预定有关注度的位置或用户之前还没有去过位置。但这要进行对位置的假设，这些位置可能不能得到用户生活事件的有兴趣描绘。也就是说，在这种方法中，所得的图像不能充分“讲述”用户的故事。另外，一些新的位置(例如，停车场)会是相当寻常的。
另一种方案是减小捕获照片之间的时间间隔，但这些导致采集过多数据并且在错误的时机。这会使用户烦恼，并且消耗了电池寿命和数据存储空间。
发明内容
所公开的控制生活记录摄像头操作的技术包括检测用户活动或附近活动的改变作为拍照片的触发机制。检测用户活动或附近活动的改变用作识别可包括感兴趣的照片主题的瞬间的代理。随着照片主题的关注度增加，对生活记录摄像头产品的用户体验的好感度也将增加。因此，所公开的技术被设计成尝试比如果只使用基于时间的方案捕获具有感兴趣主题的图像或至少较高百分比的感兴趣的图像。作为所公开技术的一部分，使用活动改变来触发摄像头启动，该活动改变是通过运动检测、生物反馈检测或其他传感器检测中的转变而检测到的。
根据本公开的一个方面，一种用生活记录摄像头捕获和存储数字图像的方法，所述生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该方法包括：检测来自传感器的信号中的状态转变，所述状态转变表示用户活动的改变；用生活记录摄像头的摄像头模块捕获所述数字图像，所述捕获通过检测到所述状态转变来触发；以及将所述数字图像存储在存储器中。
根据一个实施方式，所述方法还包括检测用户执行的活动序列的各个阶段之间的多个转变并且对于检测到的各转变捕获并且存储图像。
根据一个实施方式，所述方法还包括监测分别来自各个传感器的多个信号并且如果所述信号中的任一个经历表示用户活动的改变的状态转变则确定检测到。
根据一个实施方式，所述方法还包括监测分别来自各个传感器的多个信号并且如果所述信号中的两个或更多个的改变一起表示用户活动的改变则确定检测到。
根据所述方法的一个实施方式，所述传感器包括检测用户运动的运动传感器、生物计量传感器、电场传感器、或磁场传感器中的至少一种。
根据本公开的另一个方面，一种用生活记录摄像头捕获和存储数字图像的方法，所述生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该方法包括以下步骤：检测来自电场传感器或磁场传感器的信号中的状态转变，所述状态转变表示用户活动的改变或用户附近的活动的改变中的一种；用生活记录摄像头的摄像头模块捕获所述数字图像，该捕获的步骤通过检测到所述状态转变来触发；以及将所述数字图像存储在存储器中。
根据一个实施方式，所述方法还包括监测来自电场传感器或磁场传感器的信号并且监测来自另外传感器的信号，如果所述监测信号的改变一起表示活动改变则确定检测到。
根据所述方法的一个实施方式，所述另外传感器包括检测用户的运动的运动传感器或生物计量传感器中的至少一种。
根据本公开的另一个方面，一种生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该生活记录摄像头包括：控制电路，其被构造成检测来自传感器的信号中的状态转变，所述状态转变表示用户活动的改变；摄像头模块，其响应于检测到所述状态转变在所述控制电路的控制下捕获所述数字图像；以及存储器，所述数字图像存储在其中。
根据所述生活记录摄像头的一个实施方式，所述控制电路还被构造成检测所述用户执行的活动序列的各个阶段之间的多个转变，并且对于检测到的各转变，命令捕获和存储图像。
根据所述生活记录摄像头的一个实施方式，所述控制电路还被构造成监测分别来自各个传感器的多个信号并且如果所述信号中的任一个经历表示用户活动的改变的状态转变，则所述摄像头模块被命令捕获所述数字图像。
根据所述生活记录摄像头的一个实施方式，所述控制电路还被构造成监测分别来自各个传感器的多个信号并且如果所述信号中的两个或更多个的改变表示用户活动的改变，则所述摄像头模块被命令捕获所述数字图像。
根据所述生活记录摄像头的一个实施方式，所述传感器包括检测用户运动的运动传感器。
根据所述生活记录摄像头的一个实施方式，所述传感器包括生物计量传感器。
根据所述生活记录摄像头的一个实施方式，所述生物计量传感器包括皮肤电反应传感器或脉搏速率监测器中的至少一个。
根据所述生活记录摄像头的一个实施方式，所述传感器包括电场传感器或磁场传感器中的至少一种。
根据本公开的另一个方面，一种生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，所述生活记录摄像头包括：控制电路，其被构造成检测来自电场传感器或磁场传感器的信号中的状态转变，所述状态转变表示用户活动的改变或用户附近活动的改变中的一种；摄像头模块，其响应于检测到所述状态转变在所述控制电路的控制下捕获所述数字图像；以及存储器，所述数字图像存储在其中。
根据所述生活记录摄像头的一个实施方式，所述控制电路还被构造成监测来自电场传感器或磁场传感器的信号并且监测来自另外传感器的信号，如果所述监测信号的改变一起表示活动改变，则所述摄像头模块命令捕获所述数字图像。
根据所述生活记录摄像头的一个实施方式，所述另外传感器包括检测用户的运动的运动传感器或生物计量传感器中的至少一种。
附图说明
图1是采用用户活动或附近活动的改变作为拍照片的触发机制的生活记录摄像头的示意性框图。
图2是通过生活记录执行的摄像头控制功能的流程图。
具体实施方式
现在，将参照附图描述实施方式，其中，使用类似的参考标号始终表示类似的元件。应该理解，附图不必是按比例。相对于一个实施方式描述和/或示出的特征可按相同方式或类似方式用于一个或更多个其他实施方式和/或与其他实施方式的特征组合或作为其替代。
以下结合附图描述电子装置和控制电子装置来拍照片的方法的各种实施方式。电子装置通常是但不必须是专用生活记录摄像头。在其他实施方式中，电子装置可以是某种其他便携式电子装置(诸如，但不限于，移动电话、平板计算装置、游戏装置、数字傻瓜型摄像头、或媒体播放器)。
初始地，参照图1，示出被构造为生活记录摄像头10的示例性电子装置的示意性框图。生活记录摄像头10可扣在或夹住用户穿戴的衣物上。在其他布置中，生活记录摄像头10被构造为手镯或腕带、戒指、头带、眼镜、衣物、耳环等。
生活记录摄像头10包括摄像头模块12。摄像头模块12包括适于将场景成像以产生静止图像(在某些情况下，视频)的光学器件和传感器。虽然未示出，但可以存在麦克风以捕获视频的声音成分。摄像头模块12捕获的图像和视频可被存储在存储器16的图像存储14中。
生活记录摄像头10包括控制电路18，控制电路18负责生活记录摄像头10的整体操作，包括控制何时用摄像头模块12捕获图像。在一个实施方式中，控制电路18包括执行操作指令的处理器20。在一个实施方式中，对是否捕获和存储图像进行的控制被实施为也被存储在存储器16中的成像引擎22的一部分。
成像引擎22可按存储在生活记录摄像头10的非暂态计算机可读介质(例如，存储器16)上并且由控制电路18执行的可执行逻辑例程(例如，代码行、软件程序、固件等)的形式实施。所描述的操作可被认为是生活记录摄像头10执行的方法。
控制电路18的处理器20可以是执行代码以执行生活记录摄像头10的操作的中央处理单元(CPU)、微控制器、或微处理器。存储器16可以是例如缓冲器、闪存存储器、硬驱动、可移除介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或其他合适装置中的一个或更多个。在典型布置中，存储器16包括用于长期数据存储的非易失性存储器和用作控制电路18的系统存储器的易失性存储器。存储器16可通过数据总线与控制电路18交换数据。在存储器16和控制电路18之间还可存在附带的控制线和地址总线。存储器16被视为非暂态计算机可读介质。
生活记录摄像头10可包括与另一个装置(诸如，计算机、移动电话、创建互联网访问的无线路由器等)创建通信的接口。示例性的接口是使用电缆与另一个装置创建连接的电连接器和接口电路形式的输入/输出(I/O)接口24。典型的I/O接口24是USB端口。可通过I/O接口24接收操作电力和/或对生活记录摄像头10的电池(未示出)进行充电的电力。电池可在没有外部电源的情况下供应用于操作生活记录摄像头10的电力。另一个示例性的接口是无线接口26。无线接口26可以是例如按照蓝牙(Bluetooth)标准、WiFi标准、或另一种无线标准进行操作的接口26。另一个无线接口26可以是自我认知域网络(诸如，体域网(BAN))。多个无线接口26可表现为通过多种标准(例如，BAN、蓝牙和WiFi中的两个或更多个)进行操作。
生活记录摄像头10可包括显示器，该显示器用于显示所捕获图像并且辅助用户调节设置。然而，预想到，生活记录摄像头10将不包括显示器并且使用连接的装置或者在将图像从生活记录摄像头传递到另一个装置之后观看图像。
生活记录摄像头10可包括一个或更多个传感器28，传感器28感测或确定与生活记录摄像头10相关的各种状况。在所例示的实施方式中，一个或更多个传感器28被例示为生活记录摄像头10的部分。在其他实施方式中，感测组件可以在与生活记录摄像头10通信的另一个装置中。例如，向生活记录摄像头10提供数据输入的加速度计组件可以是用户携带的移动电话的一部分或者可以是用户穿戴的手镯或其他制品的一部分。
示例性的传感器28包括诸如一个或更多个加速度计、一个或更多个陀螺仪等的运动传感器30。另一个示例性的输入件包括用于辅助确定生活记录摄像头10的位置的诸如全球定位系统(GPS)接收器32的位置数据接收器。另一个示例性输入包括检测生活记录摄像头10中的电场改变的电场传感器34。因靠近或运动离开生活记录摄像头10的物体(例如，另一个电子装置)或人员，或者因电子装置(例如，灯或机器)的电能消耗的改变，可造成电场改变。另一个示例性的输入件包括检测生活记录摄像头10中的磁场改变的磁力计36。因靠近或运动离开生活记录摄像头10的物体(例如，另一个电子装置)或人员，或者因能量消耗装置的改变，可造成磁场改变。另一个示例性的输入件包括检测生活记录摄像头10的方向改变的指南针38。
生活记录摄像头10还通过有线或无线接口从外部传感器接收数据。例如，用户穿戴的生物计量传感器40可借助无线接口26将生物反馈数据发送到生活记录摄像头10。生物计量传感器40可由用户穿戴并且可被构造为手镯或腕带、戒指、头带、眼镜、衣物、耳环、或某种其他的形式因素。可从生物计量传感器40接收的示例性数据包括GSR传感器42监测的用户的皮肤电反应(GSR)的改变和/或脉搏速率监测器44监测的用户脉搏的改变。可从生物计量传感器40接收的其他示例性数据包括(但不限于)瞳孔放大和/或眼睛运动的改变、脑电波活动的改变、血压的改变、体温的改变、肌肉收缩的改变、或来自用户的任何其他可测量响应。
另外参照图2，示出代表生活记录摄像头10可执行的用于控制图像的捕获和存储的步骤的流程图。虽然在逻辑连贯性中例示的，但例示的块可按其他次序和/或在两个或更多个块之间发生时执行。因此，例示的流程图可改变(包括省去步骤)和/或可按面向对象的方式或以面向状态的方式实现。
逻辑流可开始于框46。在框46中，可确定是否应该捕获基于时间的图像。在一个实施方式中，生活记录摄像头10可被构造成以预定间隔捕获图像(例如，每20秒一次或每30秒一次)，即便生活记录摄像头10也被构造成基于其他标准来捕获图像。可由用户打开或关闭基于时间捕获图像。因此，框46中的确定可包括确定是否打开了定时图像捕获功能，并且如果打开了定时图像拍摄捕获功能，则确定图像捕获之间的预定时间间隔是否已经过去来实现基于时间的捕获图像安排。
如果在框46中进行了肯定确定，则逻辑流可前进至框48。在框48中，使用摄像头模块12捕获图像并且对应的数字照片被存储在图像存储14中。在不牵涉用户以发出拍图像的命令的情况下(例如，在没有诸如触摸开关按钮的用户输入的情况下)，框48中捕获的图像被自动取得。
如果在框46中进行了否定确定，则逻辑流可前进至框50。在框50中，确定用户的活动或用户附近的活动中是否有可检测到的改变。如果用户活动或用户附近的活动有改变，则框50中可进行肯定确定并且逻辑流可前进至框48，图像被捕获并且存储。在一个实施方式中，所存储的图像用元数据标记，以表示图像是响应于活动检测来捕获的。这样，可使用搜索来寻找图像并且将该图像与以基于时间的方式捕获的图像区分开。另外，元数据可表示触发捕获图像的活动的类型，以基于检测到的活动的性质来增强图像的可搜索性。
如所指出的，可存在超过一种类型的活动改变来触发框50中的肯定确定。一种类型的活动改变包括与用户相关的活动改变。另一种类型的活动改变包括用户附近的活动的改变。进而将讨论这些类型的活动改变。
检测与用户相关的活动改变包括用用户行为改变或生物计量改变所导致的来自传感器28、40中的一个或更多个的检测结果。在一个实施方式中，被检测到并且触发摄像头操作的改变与用户的运动相关。但是有可能的是，除了基于运动的活动外的与用户相关的活动可导致框50中的肯定确定。
在一个实施方式中，如果来自多个监测传感器28、40中的任一个的信号改变表示基于用户的活动的改变、或状态转变，则可进行肯定确定。出于此目的可被监测的示例性信号包括(但不限于)来自运动传感器30的输出信号、来自GSR传感器42的输出信号和来自脉搏速率监测器44的输出信号。还可监测来自其他类型传感器的其他信号。为了检测来自任一个监测信号中的信号的状态转变，可创建各监测信号的改变阈值。如果信号中的一个信号包括代表对应监测特性(例如，运动特性、心率特性等)中的改变的感测数据，该改变超过了由对应阈值值创建的阈值，则可得到框50中的肯定确定。这些阈值可被量化和/或来自各信号的数据可针对各监测特性适当归一化。例如，脉搏速率的阈值可以是脉搏速率在预定时间量(例如，20秒)内增加了预定跳动次数(例如，5或10次)。
在一个实现实施方式中，成像引擎22可包括针对来自传感器26、40中的每个的各监测信号的转变检测模块。各转变检测模块针对信号状态转变来监测对应信号。转变检测器可应用以上基于阈值的方案来检测活动改变，或者应用较复杂的方案检测特定类型的活动改变。转变检测器还可过滤出例行活动(例如，过滤出键盘上的敲击，但在站起来或晃动另一个人的手时进行肯定确定)以免得到肯定确定。
在一个实施方式中，转变检测器被构造成监测来自超过一个传感器28、40的信号。在这个实施方式中，转变检测器针对表示用户活动的改变的、在监测信号中的改变的组合进行监测。例如，如果至少一个生物计量信号(例如，来自GSR传感器42的输出和/或来自脉搏速率监测器44的输出)和来自监测传感器30的信号以一起表示用户活动的改变的方式改变，则转变检测器可产生肯定检测。可表示活动改变的信号的另一个组合是基于来自电场传感器34的信号检测到的电场改变和来自运动传感器30的运动改变。可表示活动改变的信号的另一个组合是基于来自电场传感器34的信号(或来自指南针38的方向)的改变和脉搏的改变、GSR的改变或其他被监测生物计量的改变。
转变检测器可被实现为检测用户活动的变化作为拍一张或更多张照片(或拍视频)的触发机制，与以基于时间的方式拍照片形成对照。用户活动的变化表示用户将要发生的事情或用户附近事情的可能性。示例性的活动转换包括开始行走、坐下的动作、开始跑动、或停止行走或跑动的动作。生活估计摄像头10被构造成进行检测并且拍响应图像的活动变化可被视为转变活动，这些转变活动也被称为活动状态的改变或来自用户经历的较大事件循环的微活动。这样，可捕获针对活动序列的各个阶段之间的多个转变的图像，如在随后的许多示例中将描述的。
通过在这些瞬间捕获照片，在用户正经历事件的同时，想到的是可拍摄更具意义的照片序列来创建事件的图像记录。这些图像有助于以比基于时间的方案更引人入胜的方式描绘用户的“生活故事”。触发捕获一个或更多个图像的事件可以是对于用户而言非寻常的事件并且可以是对于用户而言相当例行的事件。例如，活动可以像登上用户日常通勤所使用的公交车一样例行。但是，捕获该事件的图像可以是有价值的，所以用户可从每天想起公交车司机以及公交车乘客伙伴。
根据登上公交车的示例，事件可开始于用户相对静止(诸如，在等候公交车到达时候坐在椅子上)。此时，用户的脉搏可以是稳定的并且来自运动传感器30的输出可以是相对稳定的。当公交车到达时，用户会站立。站起来的动作可从运动传感器30的输出中检测为用户活动的改变。该检测可触发捕获图像。用户随后可开始走向公交车并且可根据运动传感器30的输出和增加的脉搏来检测该活动改变。该检测可触发捕获图像。类似地，可将上公交车台阶检测为另一个活动改变并且可捕获对应的图像。用户可支付公交车车费，这可通过GSR的改变检测到，并且可捕获对应的图像。开始走向空座位并且坐下的动作还可导致检测到用户活动的改变并且可在这些时间捕获对应的图像。
作为另一个示例，用户可在跳进泳池时穿戴生活记录摄像头10。作为该整体动作序列的部分，用户跑动以达到用于跳跃的速度。运动传感器30可检测到跑动的开始，然后检测到到跳跃的转变。可针对这些检测中的两个，捕获对应的图像。当用户接触水时，可检测到突然减速并且可捕获另一个图像。游回水面可导致心率的增加，这也触发捕获照片。然后，攀登梯子离开泳池可导致其他运动传感器或生物计量反馈，这触发拍一张或更多张照片。总之，该序列出现在安排好的基于时间的方法的图像捕获之间的时间跨度中，或者当在该序列期限只安排一个图像时。通过比较，所公开的技术将在所关注的瞬间捕获多个图像。
作为另一个示例，用户可坐在朝向起飞位置而滑行的飞机上。在该时间期间，运动传感器30检测到极少的活动，并且来自GSR传感器42和脉搏速率监测器44的输入可相对稳定。但是当飞机开始加速准备起飞时，运动传感器30可检测到运动的改变并且用户的脉搏速率的改变，和/或GSR可改变。这些检测可触发捕获一个或更多个图像。
在一个实施方式中，通过检测用户活动的改变而得到的捕获的图像是标准数字照片。在另一个实施方式中，检测到的大部分活动改变将仍然导致标准数字照片的捕获，但对于某些时机，转变检测器还可检测来自传感器26、40的数据改变触发改变后的图像捕获而非标准图像捕获。在一个示例中，在活动序列期间检测到相对快速活动或者检测到突发转变可导致视频的捕获、慢动作电影的捕获、或每个检测到的用户活动多个图像的捕获。可通过用多阵列摄像头实现摄像头模块12来实现视频的捕获，尤其是慢动作视频的捕获。通过一次开启多阵列摄像头的一个摄像头，可捕获低分辨率、慢动作电影。多阵列摄像头的其他使用可用于其他形式的改变后图像捕获。例如，可同时启用多阵列摄像头中的多个摄像头以捕获高分辨率图像。作为另一个示例，可通过以对于每个摄像头而言不同的各个曝光设置启动多阵列摄像头中的多个摄像头来捕获高动态范围(HDR)照片。
如所提到的，导致图像捕获和存储的一种类型的活动改变涉及用户活动的改变。作为检测用户活动的改变的补充或替代，用户附近的活动的改变可导致框50中的肯定确定。例如，蓝牙连接或WiFi连接的改变可触发捕获图像。还可以针对用户附近的活动的改变来分析麦克风输出的音频信号。作为另一个示例，电场或磁场的改变可触发图像的捕获(在有或没有表示用户运动或动作的输入的情况下)。
专注于电场和磁场，各种电场和磁场是无处不在的。这些场通常是由电子设备、电缆、便携式装置等产生的。
描述的以下部分将专注于作为捕获和存储图像的触发机制的电场变化。这些技术可类似地应用于感测作为捕获和存储图像的触发机制的磁场变化。带电场的环境中的材料、物体、人和电子装置将具有相对于环境中的其他这些物品的电压电势。这些电压电势将根据物品大小、位置和运动以及物品是否电连接到其他物品而变化。另外，在存在电压电势或电流流动时产生电场(EF)。作为示例，不同的人和不同的用户活动基于人的体形大小、运动或没有运动以及身体位置(例如，人的手臂抬起与人的手臂放下等)将得到不同EF场强度。
测量电场的相对简单方式包括使用用于接收广播发送(例如，AM或FM发送)的标准无线电接收器。纯EF感测功能的功耗相对低(例如，大约几毫瓦的级别)。另一种技术涉及使用天线和感测电路。示例性的感测电路包括电容器，该电容器的极分别连接到EF天线和基准电势。测量电容器两端的电压的电压计将感测周围电场的变化。可使用模数(A/D)转换器将来自电压计的模拟信号转换成数字信号。可使用数字信号处理和统计分析来分析该数字信号，以识别感测到的电场的特征和变化并且将其分类。可对EF环境进行连续或周期性的扫描。
EF环境的超过预定阈值(例如，来自EF传感器34的信号中的状态转变)的改变可表示用于摄像头操作的感兴趣的瞬间。因此，成像引擎22的转变检测模块可被构造成检测电场变化以产生框50中的肯定结果，使得当检测到电场中的特定改变时，使用生活记录摄像头捕获和存储图像。
例如，电场变化可表示用户附近环境的改变。这可以是值得使用生活记录摄像头捕获一个或更多个图像的时刻。在一个示例性情形下，电场感测可识别出当用户进入新环境，诸如，建筑物中的不同房间，从外面到里面或者从里面到外面，或者进行环境中的某些其他改变。这些环境改变可通过感测电场变化来检测并且可触发图像的捕获。
被构造成监测电场变化的成像引擎22的转变检测模块可基于EF环境中的不同类型的改变将不同活动分类。例如，随时间推移波动的EF环境可以是某种运动或活动的结果。因此，在此情形下，可控制生活记录摄像头10来拍一系列静止图像或记录视频。但是，受监测EF的突然改变可表示不同类型的改变(例如，打开或关闭电器或灯)并且该检测可触发捕获单独图像。
可使用电场感测来检测用户附近的活动，即使用户几乎没有运动或活动时。一个示例可以是当用户正坐在公众场合(例如，火车或机场候机楼、电影院、讲演厅等)时。如果其他人进入或离开该场合，但用户保持相对静止，则可基于由于其他人和/或这些人携带的电子装置的运动而检测到的电场改变被触发来仍然捕获照片。可导致检测到电场改变的另一个活动示例是当电器、灯或其他电子装置打开或关闭时。
可出于除了用作捕获图像的触发机制之外的原因，来使用电场监测。作为示例，低背景电场水平可表示装置在户外并且可针对户外拍摄来优化摄像头设置(例如，白平衡、快门速度等)。
虽然已经示出和描述了某些实施方式，但要理解，本领域的其他技术人员在阅读和理解了本说明书后将想到落入随附权利要求书的范围内的等同形式和修改形式。

Claims (19)

1.一种用生活记录摄像头捕获和存储数字图像的方法，该生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该方法包括以下步骤：
检测来自传感器的信号中的状态转变，所述状态转变表示用户活动的改变；
用生活记录摄像头的摄像头模块捕获所述数字图像，该捕获的步骤通过检测到所述状态转变来触发；以及
将所述数字图像存储在存储器中。
2.根据权利要求1所述的方法，所述方法还包括检测用户执行的活动序列的各个阶段之间的多个转变并且对于检测到的各转变捕获并且存储图像。
3.根据权利要求1所述的方法，所述方法还包括监测分别来自各个传感器的多个信号并且如果所述信号中的任一个经历表示用户活动的改变的状态转变，则确定检测到。
4.根据权利要求1所述的方法，所述方法还包括监测分别来自各个传感器的多个信号并且如果所述信号中的两个或更多个的改变一起表示用户活动的改变，则确定检测到。
5.根据权利要求1所述的方法，其中，所述传感器包括检测用户运动的运动传感器、生物计量传感器、电场传感器、或磁场传感器中的至少一种。
6.一种用生活记录摄像头捕获和存储数字图像的方法，该生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该方法包括以下步骤：
检测来自电场传感器或磁场传感器的信号中的状态转变，所述状态转变表示用户活动的改变或用户附近的活动的改变中的一种；
用生活记录摄像头的摄像头模块捕获所述数字图像，该捕获的步骤通过检测到所述状态转变来触发；以及
将所述数字图像存储在存储器中。
7.根据权利要求6所述的方法，所述方法还包括监测来自所述电场传感器或所述磁场传感器的信号并且监测来自另外传感器的信号，如果所述监测信号中的改变一起表示活动改变，则确定检测到。
8.根据权利要求7所述的方法，其中，所述另外传感器包括检测用户的运动的运动传感器或生物计量传感器中的至少一种。
9.一种生活记录摄像头，该生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该生活记录摄像头包括：
控制电路，该控制电路被构造成检测来自传感器的信号中的状态转变，所述状态转变表示用户活动的改变；
摄像头模块，该摄像头模块响应于检测到所述状态转变在所述控制电路的控制下捕获所述数字图像；以及
存储器，所述数字图像存储在其中。
10.根据权利要求9所述的生活记录摄像头，其中，所述控制电路还被构造成检测所述用户执行的活动序列的各个阶段之间的多个转变，并且对于检测到的各转变，命令捕获和存储图像。
11.根据权利要求9所述的生活记录摄像头，其中，所述控制电路还被构造成监测分别来自各个传感器的多个信号并且如果所述信号中的任一个经历表示用户活动的改变的状态转变，则所述摄像头模块被命令捕获所述数字图像。
12.根据权利要求9所述的生活记录摄像头，其中，所述控制电路还被构造成监测分别来自各个传感器的多个信号并且如果所述信号中的两个或更多个中的改变表示用户活动的改变，则所述摄像头模块被命令捕获所述数字图像。
13.根据权利要求9所述的生活记录摄像头，其中，所述传感器包括检测用户运动的运动传感器。
14.根据权利要求9所述的生活记录摄像头，其中，所述传感器包括生物计量传感器。
15.根据权利要求14所述的生活记录摄像头，其中，所述生物计量传感器包括皮肤电反应传感器或脉搏速率监测器中的至少一个。
16.根据权利要求9所述的生活记录摄像头，其中，所述传感器包括电场传感器或磁场传感器中的至少一种。
17.一种生活记录摄像头，该生活记录摄像头被构造成在没有命令捕获数字图像的用户输入的情况下捕获所述数字图像，该生活记录摄像头包括：
控制电路，该控制电路被构造成检测来自电场传感器或磁场传感器的信号中的状态转变，所述状态转变表示用户活动的改变或用户附近活动的改变中的一种；
摄像头模块，该摄像头模块响应于检测到所述状态转变在所述控制电路的控制下捕获所述数字图像；以及
存储器，所述数字图像存储在其中。
18.根据权利要求17所述的方法，其中，所述控制电路还被构造成监测来自电场传感器或磁场传感器的信号并且监测来自另外传感器的信号，如果所述监测信号的改变一起表示活动改变，则所述摄像头模块被命令捕获所述数字图像。
19.根据权利要求18所述的方法，其中，所述另外传感器包括检测用户的运动的运动传感器或生物计量传感器中的至少一种。
CN201580031576.7A 2014-06-13 2015-02-04 生活记录摄像头和根据活动转变控制生活记录摄像头的方法 Pending CN106464812A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/303,664 2014-06-13
US14/303,664 US20150365575A1 (en) 2014-06-13 2014-06-13 Lifelog camera and method of controlling same according to transitions in activity
PCT/IB2015/050832 WO2015189713A1 (en) 2014-06-13 2015-02-04 Lifelog camera and method of controlling same according to transitions in activity

Publications (1)

Publication Number Publication Date
CN106464812A true CN106464812A (zh) 2017-02-22

Family

ID=52630436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580031576.7A Pending CN106464812A (zh) 2014-06-13 2015-02-04 生活记录摄像头和根据活动转变控制生活记录摄像头的方法

Country Status (4)

Country Link
US (1) US20150365575A1 (zh)
EP (1) EP3155802A1 (zh)
CN (1) CN106464812A (zh)
WO (1) WO2015189713A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682641A (zh) * 2017-11-21 2018-02-09 广东乐心医疗电子股份有限公司 一种拍摄方法以及控制设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367550B1 (ko) 2014-09-02 2022-02-28 삼성전자 주식회사 생체 신호를 이용한 카메라 모듈의 제어
JP6819042B2 (ja) * 2016-01-14 2021-01-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
CN108779974A (zh) * 2016-02-26 2018-11-09 株式会社布林卡姆 信号输出装置以及摄像装置
JP6653398B2 (ja) * 2016-12-28 2020-02-26 本田技研工業株式会社 情報提供システム
US10964126B2 (en) * 2019-08-26 2021-03-30 Capital One Services, Llc Estimating a rate-based fare utilizing location data and transaction data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286196A (zh) * 2007-04-10 2008-10-15 索尼株式会社 图像存储处理装置和方法、图像搜索装置和方法以及程序
CN101341734A (zh) * 2005-12-05 2009-01-07 微软公司 自动捕捉模式
JP2009049951A (ja) * 2007-08-23 2009-03-05 Sony Corp 撮像装置、撮像方法
CN103442171A (zh) * 2007-05-30 2013-12-11 高智发明第二有限责任公司 可配置用于自主操作的照相机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886298B2 (en) * 2004-03-01 2014-11-11 Microsoft Corporation Recall device
US8537236B2 (en) * 2010-10-07 2013-09-17 Hewlett-Packard Development Company, L.P. Automatic adjustment of capture parameters based on reference data
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US20130177296A1 (en) * 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
US9060127B2 (en) * 2013-01-23 2015-06-16 Orcam Technologies Ltd. Apparatus for adjusting image capture settings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101341734A (zh) * 2005-12-05 2009-01-07 微软公司 自动捕捉模式
CN101286196A (zh) * 2007-04-10 2008-10-15 索尼株式会社 图像存储处理装置和方法、图像搜索装置和方法以及程序
CN103442171A (zh) * 2007-05-30 2013-12-11 高智发明第二有限责任公司 可配置用于自主操作的照相机
JP2009049951A (ja) * 2007-08-23 2009-03-05 Sony Corp 撮像装置、撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682641A (zh) * 2017-11-21 2018-02-09 广东乐心医疗电子股份有限公司 一种拍摄方法以及控制设备

Also Published As

Publication number Publication date
EP3155802A1 (en) 2017-04-19
US20150365575A1 (en) 2015-12-17
WO2015189713A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
CN106464812A (zh) 生活记录摄像头和根据活动转变控制生活记录摄像头的方法
EP3008891B1 (en) Computer vision application processing
CN101938691B (zh) 多模态邻近度检测
US20170262706A1 (en) Smart tracking video recorder
KR101819925B1 (ko) 데이터 캡처를 위한 동적 제어
EP3120902A1 (en) Information processing apparatus, information processing method, and recording medium
US9854139B2 (en) Lifelog camera and method of controlling same using voice triggers
US10728437B2 (en) Image capture control apparatus, image capture control method, and image capture control program
EP3300655A1 (en) A method and system for emotion-triggered capturing of audio and/or image data
US20150350536A1 (en) Wearable terminal device, photographing system, and photographing method
CN108898079A (zh) 一种监控方法及装置、存储介质、拍摄终端
CN110599710A (zh) 一种提醒方法及相关设备
Hung et al. Activity recognition with sensors on mobile devices
Ye et al. Physical violence detection for preventing school bullying
CN109525791A (zh) 信息记录方法及终端
JP5669302B2 (ja) 行動情報収集システム
US20180139592A1 (en) Information processing apparatus, information processing method, and program
CN107046602A (zh) 一种移动设备的使用提醒方法及装置
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
CN115700847A (zh) 绘本阅读方法及相关设备
CN107018318B (zh) 低功耗无线相机及传感器系统
CN113693556A (zh) 运动后肌肉疲劳度的检测方法及装置、电子设备
JPWO2020208917A1 (ja) 身体機能管理システム、及び、身体機能管理方法
Kim et al. Sensors know which photos are memorable
JP7465644B2 (ja) 監視システム、及び監視方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222