CN106164977A - 照相机阵列分析机制 - Google Patents

照相机阵列分析机制 Download PDF

Info

Publication number
CN106164977A
CN106164977A CN201380080996.5A CN201380080996A CN106164977A CN 106164977 A CN106164977 A CN 106164977A CN 201380080996 A CN201380080996 A CN 201380080996A CN 106164977 A CN106164977 A CN 106164977A
Authority
CN
China
Prior art keywords
data
media
capture
scene
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380080996.5A
Other languages
English (en)
Inventor
G·J·安德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106164977A publication Critical patent/CN106164977A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种方法。该方法检测媒体捕获设备准备好捕获场景的媒体数据,捕获与场景相关的数据,分析场景数据以识别并分类场景中一个或多个对象的行为,以及基于场景数据分析调整媒体捕获设备以优化媒体数据的捕获。

Description

照相机阵列分析机制
技术领域
本文所描述的实施例一般涉及感知运算,并且更具体而言,涉及使用照相机阵列的主体(subject)监控。
背景技术
照相机阵列以多个透镜(其允许单个场景的多个版本(version)的同时捕获)为特征。例如,阵列中的每个透镜可以设定为不同焦距,从而实现了对于场景中的不同对象的具有深度信息的图像数据的捕获。然而,当场景中的一些对象正不同地做出行为时(例如一些对象正运动,同时其他对象固定),将相似的定时和分析应用于整个阵列可能不是最佳的。
附图说明
在附图的图中通过示例并且不是通过限制来说明了实施例,在附图中,相同的附图标记指代类似的元件。
图1是说明了用于捕获媒体数据的系统的一个实施例的方框图。
图2是说明了照相机阵列分析过程的一个实施例的流程图。
图3是示范系统的原理图。
图4是示范系统的原理图。
具体实施方式
在以下说明中,阐述了多个具体细节。然而,如本文所描述的实施例可以不具有这些具体细节而实践。在其他实例中,没有详细显示公知的电路、结构和技术,以免模糊本描述的理解。
在本文献全文中,如“逻辑”、“组件”、“模块”、“架构”、“引擎”、“存储”等的术语可以互换地参照,并且通过示例,包括软件、硬件和/或软件与硬件的任意组合,例如固件。
尽管本公开内容的概念易于获得各种修改和备选形式,但其具体实施例已经通过示例在附图中显示并将在本文中详细描述。然而,应理解,不存在将本公开内容的概念限制于公开的特定形式的意图,但是相反,意图是覆盖与本公开内容和所附权利要求书一致的全部修改、等效替代和备选方案。
说明书中对“一个实施例”、“实施例”、“说明性实施例”等的提及指示所描述的实施例可以包括特定特征、结构或特性,但每一个实施例可以或可以不必须包括该特定特征、结构或特性。此外,这样的短语不必须指代相同的实施例。此外,当结合实施例描述特定特征、结构或特性时,应认为,无论是否明确描述,结合其他实施例来实现这样的特征、结构或特性在本领域技术人员的知识范围内。
在一些情况下,公开的实施例可以在硬件、固件、软件或其任意组合中实施。公开的实施例还可以实施为指令,其由暂时性或非暂时性机器可读(例如计算机可读)储存介质携带或存储,其可以由一个或多个处理器读取并执行。机器可读储存介质可以体现为任何储存设备、机制或用于以通过机器可读的形式存储或传送信息的其他物理结构(例如易失性或非易失性存储器、媒体盘或其他媒体设备)。
在附图中,可按照特定布置和/或顺序显示一些结构或方法特征。然而应意识到,这样的特定布置和/或顺序不是要求的。相反,在一些实施例中,可以按照与说明性图所示的不同的方式和/或顺序布置中这样的特征。另外,结构或方法特征在特定附图中的包含并非意味着暗示这样的特征在全部实施例都是要求的,在一些实施例中,可以不被包含或者可以与其他特征组合。
本文提供的详细描述的一些部分在计算机存储器内数据位的运算的算法和符号表示方面呈现。除非明确地表述,否则如从以下的论述显而易见的,将意识到在整个描述中,利用了诸如“计算”、“运算”、“确定”、“估计”、“存储”、“收集”、“显示”、“接收”、“合并”、“产生”、“更新”等的术语的论述指代计算机系统或相似电子计算设备的动作和处理,其将在包括寄存器以及存储器的计算机系统的电路内表示为物理(电子)量的数据操纵并变换为在计算机系统存储器或寄存器或其他这种信息储存、传输或显示设备内类似地表示为物理量的其他数据。
尽管以下描述阐述了可以在诸如例如片上系统(SoC)架构的架构中表示的各种实施,但本文所描述的技术和/或布置的实施不局限于特定架构和/或计算系统,并且可以由用于相似目的的任意架构和/或计算系统来实施。例如,采用例如多个集成电路(IC)芯片和/或封装、和/或诸如机顶盒、智能电话等的不同计算设备和/或消费电子(CE)设备的各种架构可以实施本文所描述的技术和/或布置。此外,尽管以下描述可以阐述多个特定细节,诸如系统组件、逻辑划分/集成选择等的逻辑实施、类型和相互关系,但所要求的主题可以不具有这样的特定细节而实践。此外,可以没有详细显示诸如例如控制结构和完整软件指令序列的一些材料,以免模糊本文公开的材料。
以下描述系统、装置、制品和方法,包括用于基于如在捕获事件期间确定的捕获媒体数据的设备的操作者的感知来管理和访问个人媒体数据的操作。
图1是说明了用于捕获媒体数据的系统100的一个实施例的方框图。系统100包括媒体捕获设备110,其具有一个或多个媒体捕获传感器106。在各种实施例中,媒体捕获设备110包括移动计算平台,诸如无线智能电话、平板计算机、超级本计算机等,或者是其组件。在其他实施例中,媒体捕获设备110可以是任何可穿戴设备,例如头戴式耳机、腕式计算机等,或者可以是任何不可移动的传感器装备,诸如安全照相机等。在又其他的实施例中,媒体捕获设备110可以是基础设施设备,诸如电视机、机顶盒、台式计算机等。
通常,媒体捕获传感器106是能够收集媒体数据的任何常规传感器或传感器阵列。在某些实施例中,例如在捕获设备110是移动计算平台的情况下,媒体捕获传感器106具有视场(FOV),其定向为捕获与主体有关的媒体数据。在某些其他实施例中,例如在捕获设备110不可移动的情况下,媒体捕获传感器106具有视场(FOV),其定向为还捕获包括操作者的媒体数据。
在一个实施例中,媒体捕获传感器106包括多个集成和/或分立的传感器,其构成分布式传感器阵列的部分。在这样的实施例中,媒体捕获传感器106包括照相机阵列。在进一步的实施例中,收集的传感器数据包括经由常规无线/有线网络/互联网连接性传送的感知传感器数据129的一个或多个场。
系统100进一步包括中间件模块140,用以接收具有可能的许多固有形式(例如模拟、数字、连续流播的、非周期性的等)的感知传感器数据129。在一个实施例中,中间件模块140起到集线器作用,用于复用和/或解复用传感器数据129的多个流。通常,中间件模块140可以是媒体捕获设备110的组件,或者可以是分离平台的部分。
中间件模块140可以采用一个或多个传感器数据处理模块,例如对象识别模块142、声源模块144、手势识别模块143、语音识别模块145、背景确定模块147等,每个都采用算法来分析接收的数据以产生感知数据。根据一个实施例,感知数据是低级参数化的,例如语音命令、手势或面部表情(例如微笑、皱眉、扮鬼脸等),或者是高级抽象的,例如注意力级别或认知负荷(例如脑力的测量),其可以从传感器数据129中的一个或多个场间接推断或导出。例如可以基于眼睛跟踪和/或眨眼频率等来估算注意力级别,而可以基于瞳孔放大和/或心率-血压乘积(product)来推断认知负荷。本发明的实施例在传感器数据129到存储在数据储存设备中的感知数据的具体变换方面不受限制。
在进一步的实施例中,感知数据的每项都可以对应于响应于媒体捕获事件或由其触发而收集的传感器数据129。在这样的实施例中,存储在数据储存设备146中的感知数据可以组织为文件,其具有同时的感知-媒体数据关联,然后通过将感知数据文件与具有大致相同的文件创建时间的媒体数据文件相链接而产生。
根据一个实施例,系统100执行原像(pre-image)分析以增强媒体捕获性能。在这样的实施例中,来自媒体捕获传感器106的场景数据实施为在媒体的捕获前识别对象并分类行为。作为响应,命令传送回到媒体捕获设备110以优化传感器106的设定。在一个实施例中,原像分析过程基于接收的关于场景中对象的行为和/或标识的信息,处理来自传感器106中的与其他不同的至少一个透镜的图像。在这样的实施例中,通过将一些透镜专用于获得场景分析的数据而获得信息,与通过诸如焦距的典型尺寸简单地改变透镜相反。在进一步的实施例中,麦克风或其他传感器用于提供相对于阵列的场景分析的信息。
图2是说明了在系统100执行的原像分析过程200的一个实施例的流程图。在处理块200,媒体捕获设备110检测到用户正构造(frame)用于媒体捕获的场景。在处理块220,媒体捕获传感器106捕获场景分析数据。例如,媒体捕获传感器106可以从待捕获的场景捕获光、声音、振动和运动数据。在处理块230,在中间件模块140接收并分析捕获的数据。根据一个实施例,对象识别模块142分析数据以识别场景中的对象和/或面部,而声源模块144基于从麦克风接收的数据和嘴部运动的视频分析确定从场景输入的声音的源。
类似地,手势识别模块143、语音识别模块145、背景确定模块147实施为提供额外的背景分析(例如分类对象的行为/活动、确定个别对象中运动的级别以及确定主体的总体情绪的级别)。在一个实施例中,分配给主体行为追踪的透镜可以在通过阵列的图像捕获之前、期间或之后执行任务。
在处理块240,优化媒体捕获传感器106以改进媒体捕获。根据一个实施例,优化媒体捕获传感器106的照相机阵列组件的透镜以改进图像捕获。在进一步的实施例中,相关数据可以存储在数据储存设备146中,作为用于随后的后处理分析的图像元数据,并实现后处理中新的特征(例如从相应的透镜选择图像以自动创建最佳图像,或者用于向用户呈现用于浏览或用户界面编辑中的选择)。在处理块250,捕获场景的媒体数据。
基于上述原像分析过程,通过相应的算法确定传感器输入(或借助中间件模块算法做出的背景确定)导致媒体捕获设备110的设定被优化的情形。表1说明了基于传感器检测和对应的算法确定执行的阵列调整优化规则的一个实施例。
表1
如上所述,原像分析过程使得能够实现各种增强。例如,如果将对象以及其行为分类为在运动中且具有运动的高可能性(例如将狗识别并分类为移动的),则照相机阵列的曝光设定就可以更短。在另一个示例中,如果检测的对象正运动接近或远离,则可以调整跨照相机阵列的焦距深度设定以增大在适当方向上的良好图像的几率(例如如果滑板正运动更接近照相机,则是更近的焦深)。此外,如果检测到语音,则透镜之一可以聚焦在扬声器上并自动设定为拍摄视频,以便可以捕获扬声器的视频供稍后使用。在又另一个示例中,照相机阵列的差别的聚焦级别可以用于自动捕获已知是难以捕获(例如孩子)的主体的额外照片。
图3是根据实施例的示范系统300的原理图。系统300可以实施图1中所描绘的各种功能块的全部或子集。例如,在一个实施例中,系统100由系统300来实施。系统300可以是移动设备,尽管系统300不限于此上下文。例如,系统300可以结合在膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持计算机、掌上计算机、蜂窝电话、智能设备(例如智能电话、智能平板或移动电视)、移动互联网设备(MID)、可穿戴计算设备、消息传送设备、数据通信设备等等中。系统300还可以是基础设施设备。例如,系统300可以结合在大画幅电视、机顶盒、台式计算机或其他家庭或商业网络设备中。
在各种实施方式中,系统300包括耦合到HID 320的平台302。平台302可以从一个或多个个人媒体数据服务设备330、一个或多个个人媒体数据传递设备340或其他类似的内容源接收捕获的个人媒体数据。包括一个或多个导航特征的导航控制器350可以用于与例如平台302和/或HID 320交互。以下更详细地描述这些组件中的每个。
在各种实施中,平台302可以包括芯片组305、处理器310、存储器312、储存设备314、图形子系统315、应用316和/或无线电318的任意组合。芯片组705可以在处理器310、存储器312、储存设备314、图形子系统315、应用316和/或无线电318中提供互相通信。例如,芯片组305可以包括储存适配器(未描绘),其能够提供与储存设备314的互相通信。
处理器310可以实施为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器;x86指令集兼容的处理器、多核或其他任何其他微处理器或中央处理单元(CPU)。在各种实施中,处理器310可以是一个或多个多核处理器、一个或多个多核移动处理器等等。在一个示范实施例中,处理器310调用或以其它方式实施过程200和描述为中间件140的部件的各种模块。
存储器312可以实施为易失性存储设备,例如但不限于,随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
储存设备314可以实施为非易失性储存设备,例如但不限于,磁盘驱动器、光盘驱动器、磁带驱动器、内部储存设备、附连储存设备、闪存、电池后备SDRAM(同步DRAM)和/或网络可访问储存设备。在各种实施中,储存设备314可以包括技术用以当例如包括多个硬驱动器时,增大有价值数字媒体的储存性能增强的保护。
图形子系统315可以执行图像的处理,例如用于显示器的静止或视频媒体数据。例如图形子系统315可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于可通信地耦合图形子系统315和显示器320。例如,接口可以是高清晰度多媒体接口、显示器端口、无线HDMI和/或无线HD兼容技术中的任一个。图形子系统315可以集成到处理器310或芯片组705中。在一些实施中,图像子系统315可以是独立的卡,其可通信地耦合到芯片组305。
本文所描述的感知媒体数据关联和相关媒体数据管理以及访问技术可以在各种硬件架构中实施。例如,图形和/或视频功能性可以集成在芯片组内。备选地,可以使用分立的图形和/或视频处理器。作为又另一个实施例,本文所描述的方法和功能可以由包括多核处理器的通用处理器提供。在进一步实施例中,方法和功能可以在特定用途的消费电子设备中实施。
无线电318可以包括一个或多个无线电,其能够使用各种适合的无线通信技术传送和接收信号。这样的技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这样的网络通信时,无线电318可以根据任意版本中的一个或多个可适用的标准操作。
在各种实施中,HID 320可以包括任意电视类型监视器或显示器。例如HID 320可以包括计算机显示器屏幕、触摸屏显示器、视频监视器、类似电视机的设备和/或电视机。HID 320可以是数字和/或模拟的。在各种实施中,HID 320可以是全息显示器。此外,HID320可以是透明表面,其可以接收视觉投影。这种投影可以传达各种形式的信息、图像和/或对象。例如,这种投影可以是用于移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用316的控制下,平台302可以在HID 320上显示用户界面322。
在各种实施中,一个或多个个人媒体服务设备330可以由任何国家、国际和/或独立的服务托管,并且因而例如经由互联网可访问平台302。一个或多个个人媒体服务设备330可以耦合到平台702和/或显示器320。平台302和/或一个或多个个人服务设备330可以耦合到网络760以传递(例如发送和/或接收)媒体信息至网络360或从网络360传递(例如发送和/或接收)媒体信息。一个或多个个人媒体传递设备340也可以耦合到平台302和/或HID320。
在各种实施中,一个或多个个人媒体服务设备330可以包括有线电视盒、个人计算机、网络、电话、互联网使能设备或能够传递数字信息和/或内容的装备,以及任意其他类似的设备,其能够经由网络360或直接地在媒体数据提供方和平台302之间单向或双向地传递内容。将会意识到,可以经由网络360单向和/或双向将内容传递至系统700中任意一个部件和提供方或从系统700中任意一个部件和提供方传递内容。个人媒体的示例包括任何捕获的媒体信息,例如包括视频、音乐、医疗和游戏信息等等。
一个或多个个人媒体数据服务设备330可以接收包括具有内容提供方的示例的媒体信息的内容,内容提供方的示例包括任何有线或卫星电视或无线电或互联网内容提供方。提供的示例并非意图以任何方式限定根据本公开内容的实施。
在各种实施中,平台302可以从具有一个或多个导航特征的导航控制器350接收控制信号。例如控制器350的导航特征可以用于与用户界面322交互。在实施例中,导航控制器350可以是定点设备,其可以是计算机硬件组件(具体而言,人机接口设备),其允许用户将空间(例如连续的和多维的)数据输入到计算机中。诸如图形用户界面(GUI)和电视以及监视器的许多系统允许用户使用物理手势控制并提供数据到计算机或电视。
控制器350的导航特征的运动可以借助显示在显示器上的指针、光标、聚焦环或其他视觉指示符的运动复制到显示器(例如HID 320)上。例如,在软件应用316的控制下,位于导航控制器350上的导航特征可以映射到例如显示在用户界面322上的虚拟导航特征上。在实施例中,控制器350可以不是分离的组件,而可以集成到平台302和/或HID 320中。然而本公开内容不限于本文所示或所描述的元件或上下文。
在各种实施中,驱动器(未示出)可以包括技术,用以使得用户能够立即开启或关闭平台302,如具有按钮的触摸的电视,例如在启用时的初始引导后。程序逻辑可以允许平台302将内容流传播到媒体适配器或其他一个或多个个人媒体服务设备330或一个或多个个人媒体传递设备340,即使当平台“关闭”时。另外,例如芯片组305可以包括对8.1环绕声音频和/或高清晰度(7.1)环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台图形驱动器。在实施例中,图形驱动器可以包括外设组件互连(PCI)高速图形卡。
在各种实施中,系统300中所示的组件的任意一个或多个可以被集成。例如,平台302和一个或多个个人媒体数据服务设备330可以被集成,或者平台302和捕获的一个或多个媒体数据传递设备340可以被集成,或者例如平台302、一个或多个个人媒体数据服务设备330和一个或多个个人媒体数据传递设备340可以被集成。在各种实施例中,平台302和HID 320可以是集成单元。例如HID 320和一个或多个内容服务设备330可以被集成,或者HID 320和一个或多个个人媒体数据传递设备340可以被集成。这些示例并非意图限定本公开内容。
在各种实施例中,系统300可以实施为无线系统、有线系统或两者的组合。当实施为无线系统时,系统300可以包括用于通过无线共享媒体通信的组件和接口,诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享媒体的示例可以包括无线频谱的部分,例如RF频谱等等。当实施为有线系统时,系统300可以包括用于通过有线通信介质通信的部件和接口,诸如输入/输出(I/O)适配器、用以将I/O适配器与对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等等。有线通信媒体的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台302可以建立一个或多个逻辑或物理信道,以传递信息。信息可以包括媒体信息和控制信息。媒体信息可以指代表示用于用户的内容的任何数据。例如内容的示例可以包括来自语音会话、视频会议、流播视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。例如来自语音会话的数据可以是语音信息、沉默期、背景噪声、舒适噪声、音调等等。控制信息可以指代表示用于自动化系统的命令、指令或控制字的任何数据。例如,控制信息可以用于通过系统路由媒体信息,或者命令节点以预定方式处理媒体信息。然而实施例不限于图3中所示或所描述的要素或上下文。
如上所述,系统300可以以不同的物理样式或形状因子体现。图4说明了可以体现系统300的小形状因子设备400的实施例。例如在实施例中,设备400可以实施为具有无线能力的移动计算设备。例如移动计算设备可以指代具有处理系统和诸如一个或多个电池的移动电源或供电源的任何设备。
如上所述,移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等等。
移动计算设备的示例还可以包括计算机,被配置为由人穿戴,例如腕式计算机、手指计算机、耳环计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其他可穿戴计算机。例如在多个实施例中,移动计算设备可以实施为智能电话,其能够执行计算机应用以及语音通信和/或数据通信。尽管通过示例利用实施为智能电话的移动计算设备描述了一些实施例,但可以意识到,其他实施例也可以使用其他无线移动计算设备来实施。实施例不限于此上下文。
如图4中所示,设备400可以包括外壳402、显示器404、输入/输出(I/O)设备406和天线408。设备400还可以包括导航特征412。显示器404可以包括用于显示适于移动计算设备的信息的任何适合的显示单元。I/O设备406可以包括用于将信息输入到移动计算设备中的任何适合的I/O设备。I/O设备406的示例可以包括字母数字键盘、数字辅助键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等等。信息还可以借助麦克风(未示出)输入到设备400。这种信息可以由语音识别设备(未示出)数字化。实施例不限于此上下文。
实施例可以实施为以下的任意一个或组合:使用母板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并由微处理器执行的的软件、固件、专用集成电路(ASIC)、和/或现场可编程门阵列(FPGA)。通过示例,术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。
例如,可以将实施例提供为计算机程序产品,其可以包括一个或多个机器可读媒体,所述媒体具有存储于其上的机器可执行指令,当由诸如计算机、计算机网络或其他电子设备的一个或多个机器执行时,可以导致一个或多个机器实现根据本文所描述的实施例的操作。机器可读介质可以包括但不限于,软盘、光盘、CD-ROM(光盘只读存储器)和磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适合于存储机器可执行指令的其他类型的媒体/机器可读介质。
此外,实施例可以作为计算机程序产品下载,其中,程序可以经由通信链路(例如调制解调器和/或网络连接)借助于由载波或其他传播介质体现和/或调制的一个或多个数据信号从远程计算机(例如服务器)传输到请求计算机(例如客户端)。
如权利要求书中使用的,除非另有说明,描述共同元件的序数词“第一”、“第二”和“第三”等的使用仅仅表示正被提及的相似要素的不同实例,并非旨在暗示如此描述的元件必须以排序或以其它任何方式处于给定的顺序(或时间、空间)。
以下项和/或示例与进一步的实施例或示例有关。示例中的具体细节可以在一个或多个实施例中的任意位置使用。不同实施例或示例的各种特征可以与被包括的一些特征和被排除的其他特征以不同方式组合以适合各种不同应用。示例可以包括主题,诸如方法、用于执行方法的动作的部件、包括指令的至少一个机器可读介质,指令在由机器执行时使得机器执行方法的动作、或装置或系统动作,其促进根据本文所描述的实施例和示例的广告内容和用户内容的内容态射和分发。
一些实施例和示例1有关,其包括一种方法,该方法包括检测媒体捕获设备准备好捕获场景的媒体数据,捕获与场景相关的数据,分析场景数据以识别并分类场景中一个或多个对象的行为,以及基于场景数据分析调整媒体捕获设备以优化媒体数据的捕获。
示例2包括示例1的主题并且进一步包括在调整媒体捕获设备后捕获场景的媒体数据。
示例3包括示例1的主题并且其中,捕获与场景相关的数据包括从场景捕获光、声音、振动和运动数据。
示例4包括示例1的主题,并且其中,捕获数据包括具有用以捕获数据的两个或更多个透镜的照相机阵列。
示例5包括示例4的主题,并且其中,所述两个或更多个透镜中的第一个用以捕获场景数据。
示例6包括示例1的主题,并且其中,分析场景数据包括分析场景数据以识别场景中的一个或多个对象。
示例7包括示例1的主题,并且其中,分析场景数据包括分析场景数据以辨别场景中的一个或多个面部。
示例8包括示例5的主题,并且其中,分析场景数据包括确定从场景输入的声音的源。
示例9包括示例8的主题,并且其中,基于从麦克风接收的声音数据和来自由一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从场景输入的声音的源。
示例10包括示例4的主题,并且其中,调整媒体捕获设备包括优化所述两个或更多个透镜以改进图像捕获。
一些实施例和示例1有关,其包括一种媒体数据管理系统,该系统包括媒体捕获设备,用以在捕获场景的媒体数据之前捕获与场景相关的数据,以及中间件模块,用以分析场景数据以识别并分类场景中的一个或多个对象的行为,以及基于场景数据分析调整媒体捕获设备以优化媒体数据的捕获。
示例12包括示例11的主题,并且其中,媒体捕获设备在所述调整后捕获场景的媒体数据。
示例13包括示例11的主题,并且其中,媒体捕获设备从场景捕获光、声音、振动和运动数据。
示例14包括示例11的主题,并且其中,媒体捕获设备包括具有用以捕获数据的两个或更多个透镜的照相机阵列。
示例15包括示例14的主题,并且其中,所述两个或更多个透镜中的第一个用以捕获场景数据。
示例16包括示例15的主题,并且其中,所述中间件模块包括对象识别模块,用以识别场景中的一个或多个对象和一个或多个面部。
示例17包括示例11的主题,并且其中,媒体捕获设备包括一个或多个麦克风。
示例18包括示例11的主题,并且其中,所述中间件模块进一步包括声源模块,用以确定从场景输入的声音的源。
示例19包括示例18的主题,并且其中,基于从麦克风接收的声音数据和来自由一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从场景输入的声音的源。
示例20包括示例14的主题,并且其中,调整媒体捕获设备包括优化所述两个或更多个透镜以改进图像捕获。
一些实施例与示例21有关,其包括一种媒体捕获设备,该设备包括媒体捕获传感器,用以在捕获场景的媒体数据之前进行与场景相关的数据捕获,以及中间件模块,用以分析场景数据以识别并分类场景中的一个或多个对象的行为,以及基于场景数据分析调整媒体捕获传感器中的一个或多个以优化媒体数据的捕获。
示例22包括示例21的主题,并且其中,媒体捕获传感器包括具有用以捕获数据的两个或更多个透镜的照相机阵列和一个或多个麦克风。
示例23包括示例22的主题,并且其中,所述中间件模块包括对象识别模块,用以识别场景中的一个或多个对象和一个或多个面部,以及声源模块,用以确定从场景输入的声音的源。
示例24包括示例23的主题,并且其中,基于从麦克风接收的声音数据和来自由一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从场景输入的声音的源。
一些实施例与示例25有关,其包括一种机器可读介质,该介质包括多个指令,其响应于在计算设备上被执行,使得所述计算设备实施根据权利要求1-10中的任意一项所述的操作。
一些实施例与示例26有关,其包括一种系统,该系统包括机制,用以实施根据权利要求1到10中的任意一项所述的操作。
一些实施例与示例27有关,其包括用以实施根据权利要求1到10中的任意一项所述的操作的部件。
一些实施例与示例28有关,其包括布置为实施根据权利要求1到10中的任意一项所述的操作的计算设备。
一些实施例与示例29有关,其包括布置为实施根据权利要求1到10中的任意一项所述的操作的通信设备。
一些实施例与示例30有关,其包括机器可读介质,所述介质包括多个指令,其响应于在计算设备上被执行,使得所述计算设备实施包括以下的操作:检测媒体捕获设备准备好捕获场景的媒体数据,捕获与场景相关的数据,分析场景数据以识别并分类场景中一个或多个对象的行为,以及基于场景数据分析调整媒体捕获设备以优化媒体数据的捕获。
示例31包括示例30的主题,并且进一步包括在调整媒体捕获设备后捕获场景的媒体数据。
示例32包括示例30的主题,并且其中,捕获与场景相关的数据包括从场景捕获光、声音、振动和运动数据。
示例33包括示例30的主题,并且其中,捕获数据包括具有用以捕获数据的两个或更多个透镜的照相机阵列。
示例34包括示例33的主题,并且其中,所述两个或更多个透镜中的第一个用以捕获场景数据。
示例35包括示例33的主题,并且其中,分析场景数据包括分析场景数据以识别场景中的一个或多个对象。
示例36包括示例33的主题,并且其中,分析场景数据包括分析场景数据以识别场景中的一个或多个面部。
示例37包括示例34的主题,并且其中,分析场景数据包括确定从场景输入的声音的源。
示例38包括示例37的主题,并且其中,基于从麦克风接收的声音数据和来自由一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从场景输入的声音的源。
示例39包括示例33的主题,并且其中,调整媒体捕获设备包括优化所述两个或更多个透镜以改进图像捕获。
一些实施例与示例40有关,其包括装置,该装置包括:部件,用于检测媒体捕获设备准备好捕获场景的媒体数据;部件,用于捕获与场景相关的数据;部件,用于分析场景数据以识别并分类场景中的一个或多个对象的行为,以及部件,用于基于场景数据分析调整媒体捕获设备以优化媒体数据的捕获。
示例41包括示例40的主题,并且进一步包括部件,用于在调整媒体捕获设备后捕获场景的媒体数据。
示例42包括示例40的主题,并且其中,捕获与场景相关的数据包括部件,用于从场景捕获光、声音、振动和运动数据。
示例43包括示例40的主题,并且其中,捕获数据包括具有用以捕获数据的两个或更多个透镜的照相机阵列。
示例44包括示例43的主题,并且其中,所述两个或更多个透镜中的第一个用以捕获场景数据。
示例45包括示例43的主题,并且其中,用于分析场景数据的部件包括部件,其用于分析场景数据以识别场景中的一个或多个对象。
示例46包括示例43的主题,并且其中,用于分析场景数据的部件包括部件,其用于分析场景数据以识别场景中的一个或多个面部。
示例47包括示例44的主题,并且其中,用于分析场景数据的部件包括部件,其用于确定从场景输入的声音的源。
示例48包括示例47的主题,并且其中,基于从麦克风接收的声音数据和来自由一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从场景输入的声音的源。
示例49包括示例43的主题,并且其中,用于调整媒体捕获设备的部件包括部件,其用于优化所述两个或更多个透镜以改进图像捕获。
附图和前述描述给出了实施例的示例。本领域技术人员将意识到,所描述元件中的一个或多个可以很好地组合到单一功能元件中。备选地,某些元件可以分割为多个功能元件。来自一个实施例的元件可以添加到另一个实施例。例如,本文所描述的处理的顺序可以改变,并且不限于本文所描述的方式。此外,任何流程图的动作不必按照所示的顺序来实施;也不必执行全部动作。而且,不依赖于其他动作的那些动作可以与其他动作并行执行。实施例的范围绝非由这些特定示例来限制。不论是否在说明书中明确给出了,诸如结构、尺寸和材料的使用方面的差别的多个变化是可能的。实施例的范围至少与由以下权利要求书给出的一样宽泛。

Claims (25)

1.一种用于执行原像分析的计算机实施的方法,包括:
检测媒体捕获设备准备好捕获场景的媒体数据;
捕获与所述场景相关的数据;
分析场景数据以识别并分类所述场景中一个或多个对象的行为;以及
基于所述场景数据分析调整所述媒体捕获设备以优化所述媒体数据的所述捕获。
2.根据权利要求1所述的方法,进一步包括在调整所述媒体捕获设备后捕获所述场景的媒体数据。
3.根据权利要求1所述的方法,其中,捕获与所述场景相关的数据包括从所述场景捕获光、声音、振动和运动数据。
4.根据权利要求1所述的方法,其中,捕获数据包括具有用以捕获所述数据的两个或更多个透镜的照相机阵列。
5.根据权利要求4所述的方法,其中,所述两个或更多个透镜中的第一个用于捕获所述场景数据。
6.根据权利要求1所述的方法,其中,分析所述场景数据包括分析所述场景数据以识别所述场景中的一个或多个对象。
7.根据权利要求1所述的方法,其中,分析所述场景数据包括分析所述场景数据以辨别所述场景中的一个或多个面部。
8.根据权利要求5所述的方法,其中,分析所述场景数据包括确定从场景输入的声音的源。
9.根据权利要求8所述的方法,其中,基于从麦克风接收的声音数据和来自由所述一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从所述场景输入的声音的所述源。
10.根据权利要求4所述的方法,其中,调整所述媒体捕获设备包括优化所述两个或更多个透镜以改进图像捕获。
11.一种媒体数据管理系统,包括:
媒体捕获设备,用以在捕获场景的媒体数据之前捕获与所述场景相关的数据;以及
中间件模块,用以分析所述场景数据以识别并分类所述场景中一个或多个对象的行为,以及基于所述场景数据分析调整所述媒体捕获设备以优化所述媒体数据的所述捕获。
12.根据权利要求11所述的媒体数据管理系统,其中,所述媒体捕获设备在所述调整后捕获所述场景的媒体数据。
13.根据权利要求11所述的媒体数据管理,其中,所述媒体捕获设备从所述场景捕获光、声音、振动和运动数据。
14.根据权利要求11所述的媒体数据管理,其中,所述媒体捕获设备包括具有用以捕获所述数据的两个或更多个透镜的照相机阵列。
15.根据权利要求14所述的媒体数据管理,其中,所述两个或更多个透镜中的第一个用于捕获所述场景数据。
16.根据权利要求15所述的媒体数据管理,其中,所述中间件模块包括对象识别模块,用以识别所述场景中的一个或多个对象和一个或多个面部。
17.根据权利要求16所述的媒体数据管理,其中,所述媒体捕获设备包括一个或多个麦克风。
18.根据权利要求17所述的媒体数据管理,其中,所述中间件模块进一步包括声源模块,用以确定从所述场景输入的声音的源。
19.根据权利要求18所述的媒体数据管理,其中,基于从麦克风接收的声音数据和来自由所述一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从所述场景输入的声音的所述源。
20.根据权利要求14所述的媒体数据管理,其中,调整所述媒体捕获设备包括优化所述两个或更多个透镜以改进图像捕获。
21.一种媒体捕获设备,包括:
媒体捕获传感器,用以在捕获场景的媒体数据之前进行与所述场景相关的数据捕获;以及
中间件模块,用以分析所述场景数据以识别并分类所述场景中的一个或多个对象的行为,以及基于所述场景数据分析调整所述媒体捕获传感器中的一个或多个以优化所述媒体数据的所述捕获。
22.根据权利要求11所述的媒体捕获设备,其中,所述媒体捕获传感器包括:
具有用以捕获所述数据的两个或更多个透镜的照相机阵列;以及
一个或多个麦克风。
23.根据权利要求15所述的媒体捕获设备,其中,所述中间件模块包括:
对象识别模块,用以识别所述场景中的一个或多个对象和一个或多个面部;以及
声源模块,用以确定从所述场景输入的声音的源。
24.根据权利要求23所述的媒体数据管理,其中,基于从麦克风接收的声音数据和来自由所述一个或多个透镜捕获的数据的嘴部运动的视频分析来确定从所述场景输入的声音的所述源。
25.一种机器可读介质,包括多个指令,其响应于在计算设备上被执行,使得所述计算设备实施根据权利要求1-10中任意一项所述的操作。
CN201380080996.5A 2013-12-17 2013-12-17 照相机阵列分析机制 Pending CN106164977A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/075717 WO2015094182A1 (en) 2013-12-17 2013-12-17 Camera array analysis mechanism

Publications (1)

Publication Number Publication Date
CN106164977A true CN106164977A (zh) 2016-11-23

Family

ID=53370019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380080996.5A Pending CN106164977A (zh) 2013-12-17 2013-12-17 照相机阵列分析机制

Country Status (4)

Country Link
US (1) US20150172541A1 (zh)
EP (1) EP3084721A4 (zh)
CN (1) CN106164977A (zh)
WO (1) WO2015094182A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112753228A (zh) * 2018-09-28 2021-05-04 公共电视公司 用于生成媒体内容的技术

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242252B2 (en) * 2015-09-25 2019-03-26 Intel Corporation Expression recognition tag
US10331944B2 (en) * 2015-09-26 2019-06-25 Intel Corporation Technologies for dynamic performance of image analysis
US9917999B2 (en) 2016-03-09 2018-03-13 Wipro Limited System and method for capturing multi-media of an area of interest using multi-media capturing devices
US10751605B2 (en) 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245535A1 (en) * 2009-03-25 2010-09-30 Mauchly J William Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN102314708A (zh) * 2011-05-23 2012-01-11 北京航空航天大学 利用可控光源的光场采样及模拟方法
CN102550019A (zh) * 2009-04-16 2012-07-04 惠普开发有限公司 管理虚拟协作系统中的共享内容
CN102598674A (zh) * 2009-10-23 2012-07-18 高通股份有限公司 用于2d视频数据到3d视频数据的转换的深度图产生技术

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1306261B1 (it) * 1998-07-03 2001-06-04 Antonio Messina Procedimento ed apparato per la guida automatica di videocameremediante microfoni.
US6952224B2 (en) * 2001-03-30 2005-10-04 Intel Corporation Object trackability via parametric camera tuning
US20030179418A1 (en) * 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7466860B2 (en) * 2004-08-27 2008-12-16 Sarnoff Corporation Method and apparatus for classifying an object
TWI300159B (en) * 2004-12-24 2008-08-21 Sony Taiwan Ltd Camera system
JP4617269B2 (ja) * 2006-03-22 2011-01-19 株式会社日立国際電気 監視システム
JP4976160B2 (ja) * 2007-02-22 2012-07-18 パナソニック株式会社 撮像装置
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
US20090041428A1 (en) * 2007-08-07 2009-02-12 Jacoby Keith A Recording audio metadata for captured images
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9071831B2 (en) * 2010-08-27 2015-06-30 Broadcom Corporation Method and system for noise cancellation and audio enhancement based on captured depth information
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
TW201216713A (en) * 2010-10-13 2012-04-16 Hon Hai Prec Ind Co Ltd System and method for automatically adjusting camera resolutions
US20120188391A1 (en) * 2011-01-25 2012-07-26 Scott Smith Array camera having lenses with independent fields of view
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
EP2560128B1 (en) * 2011-08-19 2017-03-01 OCT Circuit Technologies International Limited Detecting a scene with a mobile electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245535A1 (en) * 2009-03-25 2010-09-30 Mauchly J William Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
CN102550019A (zh) * 2009-04-16 2012-07-04 惠普开发有限公司 管理虚拟协作系统中的共享内容
CN102598674A (zh) * 2009-10-23 2012-07-18 高通股份有限公司 用于2d视频数据到3d视频数据的转换的深度图产生技术
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN102314708A (zh) * 2011-05-23 2012-01-11 北京航空航天大学 利用可控光源的光场采样及模拟方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112753228A (zh) * 2018-09-28 2021-05-04 公共电视公司 用于生成媒体内容的技术
CN112753228B (zh) * 2018-09-28 2023-09-29 公共电视公司 用于生成媒体内容的技术

Also Published As

Publication number Publication date
EP3084721A1 (en) 2016-10-26
WO2015094182A1 (en) 2015-06-25
EP3084721A4 (en) 2017-08-09
US20150172541A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
WO2021018154A1 (zh) 信息表示方法及装置
CN110471858B (zh) 应用程序测试方法、装置及存储介质
CN111489378B (zh) 视频帧特征提取方法、装置、计算机设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
WO2020048308A1 (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
CN110807325B (zh) 谓词识别方法、装置及存储介质
CN109189950A (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
CN112269853B (zh) 检索处理方法、装置及存储介质
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
CN106164977A (zh) 照相机阵列分析机制
CN112733970B (zh) 图像分类模型处理方法、图像分类方法及装置
CN111931877A (zh) 目标检测方法、装置、设备及存储介质
CN116048244B (zh) 一种注视点估计方法及相关设备
CN113392180A (zh) 文本处理方法、装置、设备及存储介质
CN110555102A (zh) 媒体标题识别方法、装置及存储介质
CN114281956A (zh) 文本处理方法、装置、计算机设备及存储介质
CN112287234A (zh) 信息检索方法、装置及存储介质
CN114168128A (zh) 生成响应式页面的方法、图形用户界面及电子设备
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
CN113032560B (zh) 语句分类模型训练方法、语句处理方法及设备
CN114996515A (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN114281937A (zh) 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置
CN116861066A (zh) 应用推荐方法和电子设备
CN114328948A (zh) 文本标准化模型的训练方法、文本标准化方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123