CN117426084A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN117426084A
CN117426084A CN202280040176.2A CN202280040176A CN117426084A CN 117426084 A CN117426084 A CN 117426084A CN 202280040176 A CN202280040176 A CN 202280040176A CN 117426084 A CN117426084 A CN 117426084A
Authority
CN
China
Prior art keywords
information
information processing
image
processing apparatus
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040176.2A
Other languages
English (en)
Inventor
斋藤大辅
榊原雅树
大池祐辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117426084A publication Critical patent/CN117426084A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

根据本公开的信息处理装置包括：获取装置，获取作为与对象区域有关的信息的一部分的第一信息；以及生成装置，基于由获取装置获取的第一信息生成与第二时间相对应的第二信息，该第二时间是与第一信息相对应的第一时间之后的时间。

Description

信息处理装置、信息处理方法和信息处理程序
技术领域
本公开涉及信息处理装置、信息处理方法和信息处理程序。
背景技术
存在基于在处理时间点之前获得的信息生成诸如提前(将来)的时间点的图像的信息的常规技术。例如，为了减少实际事件与显示的图像之间的时间差，提供了一种通过使用在第一时间点的第一图像信息生成比第一时间点晚的第二时间点的第一预测图像信息的技术(例如，专利文献1)。
引用列表
专利文献
专利文献1：JP 2020-048185 A。
发明内容
技术问题
然而，在常规技术中存在改进的空间。例如，常规技术直接使用第一时间点的第一图像信息本身来生成第二时间点的第一预测图像，并且在信息生成中使用的信息方面存在改进的空间。因而，期望信息的有效生成。
鉴于此，本公开提出了一种能够执行信息的有效生成的信息处理装置、信息处理方法和信息处理程序。
问题的解决方案
根据本公开，一种信息处理装置包括：获取装置(获取单元，acquisition means)，获取作为关于目标区域的信息中的一部分信息的第一信息；以及生成装置(生成单元，generation means)，其基于由获取单元获取的第一信息生成与第二时间相对应的第二信息，该第二时间是是晚于第一时间的时间，该第一时间是与第一信息相对应的时间。
附图说明
图1是示出本公开的信息处理的概要的示图。
图2是示出本公开的信息处理的概要的示图。
图3是示出根据本公开的第一实施例的信息处理的示例的示图。
图4是示出根据本公开第一实施例的信息处理装置的配置示例的示图。
图5是示出信息处理装置的处理过程的流程图。
图6是示出根据本公开的第二实施例的信息处理的示例的示图。
图7是示出根据本公开的第二实施例的信息处理装置的配置示例的示图。
图8是示出根据本公开的第三实施例的信息处理的示例的示图。
图9是示出根据本公开的第四实施例的信息处理的示例的示图。
图10是示出根据本公开的第五实施例的信息处理的示例的示图。
图11是示出根据本公开的第六实施例的信息处理的示例的示图。
图12是示出根据本公开的第六实施例的信息处理装置的配置示例的示图。
图13是示出CiM的配置的示例的示图。
图14是示出根据本公开的第七实施例的信息处理装置的配置示例的示图。
图15是示出根据本公开的第七实施例的信息处理装置的配置示例的示图。
图16是示出使用信息处理装置的应用的示例的示图。
图17是示出使用信息处理装置的应用的示例的示图。
图18是示出车辆控制系统的示意性配置的示例的框图。
图19是说明车外信息检测部和成像部的安装位置的示例的示图。
图20是示出实现信息处理装置的功能的计算机的示例的硬件配置图。
图21是示出常规技术中的信息处理的概要的示图。
图22是示出根据本公开的第八实施例的信息处理装置的配置示例的示图。
图23是示出根据本公开的第八实施例的信息处理装置的配置示例的示图。
图24是示出根据本公开的第九实施例的信息处理装置的配置示例的示图。
图25是示出根据本公开的第九实施例的信息处理装置的配置示例的示图。
图26是示出根据本公开的第十实施例的信息处理装置的配置示例的示图。
图27是示出根据本公开的第十一实施例的信息处理装置的配置示例的示图。
图28是示出根据本公开的第十二实施例的信息处理装置的配置示例的示图。
图29是示出根据本公开的第十三实施例的信息处理装置的配置示例的示图。
图30是示出根据本公开的第十四实施例的信息处理装置的配置示例的示图。
具体实施方式
下面将参考附图详细描述本公开的实施例。应注意，根据本申请的信息处理装置、信息处理方法和信息处理程序不受实施例的限制。此外，在以下实施例的每一个中，相同的部分由相同的参考符号表示，并且将省略其重复描述。
将按照以下顺序描述本公开。
1.实施例
1-1.第一实施例
1-1-1.信息处理的概要
1-1-2.背景等
1-1-3.根据第一实施例的信息处理的概要
1-1-4.根据第一实施例的信息处理装置的配置
1-1-5.信息处理过程
1-2.第二实施例
1-2-1.根据第二实施例的信息处理的概要
1-2-2.根据第二实施例的信息处理装置的配置
1-3.第三实施例
1-3-1.根据第三实施例的信息处理的概要
1-4.第四实施例
1-4-1.根据第四实施例的信息处理的概要
1-5.第五实施例
1-5-1.根据第五实施例的信息处理的概要
1-6.第六实施例
1-6-1.根据第六实施例的信息处理的概要
1-6-2.根据第六实施例的信息处理装置的配置
1-7.第七实施例
1-7-1.根据第七实施例的信息处理装置的配置概要
1-7-2.根据第七实施例的信息处理装置的配置
1-8.应用示例
1-8-1.机器人
1-8-2.虚拟空间上的活动
1-8-3.其他应用示例
1-9.移动体的应用示例
2.其他
3.根据本公开的效果
4.硬件配置
5.其他实施例
5-1.第八实施例
5-2.第九实施例
5-2-1.配置的小型化的示例
5-3.第十实施例
5-4.第十一实施例
5-5.第十二实施例
5-6.第十三实施例
5-7.第十四实施例
[1.实施例]
[1-1.第一实施例]
[1-1-1.信息处理的概要]
首先，在描述每个实施例之前，将参考图1和图2描述与每个实施例共同的点。图1和图2是描述本公开的信息处理的概要的示图。虽然以下将基于图像作为示例给出描述，但是待处理的信息不限于图像，并且可以是各种信息。例如，待处理的信息不限于像图像那样的平面(二维)信息，并且可以是诸如加速度或声音的一维信息，或者可以是像三维空间那样的N维空间信息。以这种方式，待处理的信息不限于诸如图像的二维信息，并且可以是除了二维之外的任何维度的信息，诸如一维或三维或以上的N维。注意，这里的信息的维度是指除了时间轴(与时间相对应的维度)之外的维度。
在下文中，将参考图1和图2连同描述作为本公开的比较的常规技术的示例的图21来描述本公开的信息处理的概要。图21是描述常规技术中的信息处理的概要的示图。首先，将描述图21中所描绘的示例的概要。
图21描述了在使用二维(2D)帧数据的系统中的常规技术的处理。图21中描述的处理示例包括：与对象(现实世界)对应的第一阶段PS1；与成像系统输出(也简称为成像系统)对应的第二阶段PS2；与计算系统输出(也简称为计算系统)对应的第三阶段PS3；以及与显示系统输出(也简称为显示系统)对应的第四阶段PS4。如图21中所示，通过成像系统、计算系统以及显示系统处理对象(现实世界)导致延迟。即，从现实世界的第一阶段PS1到显示的第四阶段PS4，通过处理发生延迟。
例如，在第二阶段PS2中发生成像延迟(等待时间)。在图21的示例中，在与对象(现实世界)的时间点t1对应的成像系统的输出中发生成像延迟，并且在晚于时间点t1的时间点t2执行输出。此外，在第三阶段PS3中发生计算延迟(等待时间)。在图21的示例中，在与对象(现实世界)的时间点t1对应的计算系统的输出中发生计算延迟。计算延迟被添加到成像延迟，并且在晚于时间点t2的时间点t3执行输出。此外，在第四阶段PS4中发生显示延迟(等待时间)。在图21的示例中，在与对象(现实世界)的时间点t1对应的显示系统的输出中发生显示延迟。显示延迟被添加到成像延迟和计算延迟，并且在晚于时间点t3的时间点t4执行输出。
以这种方式，在从成像系统到显示系统的时段期间发生延迟(等待时间)，导致与现实的时间滞后的发生。因此，例如，在显示系统是显示器的情况下，在由人眼感知信息的定时与现实世界之间发生时间偏差。例如，在以60帧每秒(fps)的速率处理帧数据的情况下，发生与至少一帧或更多帧对应的延迟。在需要快速动作(诸如运动和动作检测)的用例中，该延迟(滞后)可具有较大的影响。此外，即使没有，延迟也被假定为对用户的使用感或使用舒适性有很大影响。
鉴于此，执行如图1所示的本公开的信息处理。下面将描述这一点。在下文中，将适当地省略与上述描述相似的点的描述。在图1中描述的处理示例包括：与对象(现实世界)对应的第一阶段PS11；与成像系统输出对应的第二阶段PS2；与计算系统输出对应的第三阶段PS3；以及与显示系统输出对应的第四阶段PS14。在图1的示例中，在成像系统输出的第二阶段PS12中，在比时间点t21晚的时间点t22输出与时间点t21对应的图像。以这种方式，在图1的示例中也发生成像延迟(等待时间)。例如，在第二阶段PS12中描述的虚线表示诸如基于事件的视觉传感器(EVS)的轨迹的模式、光流并且表示具有例如几毫秒或更少的高时间分辨率的附加信息。
在图1所示的示例中，计算系统输出的阶段或稍后通过计算成像来生成图像。例如，在本公开的信息处理中，当信息从成像系统传递至显示系统时，生成具有负延迟(也称为负等待时间)的图像。当信息从计算系统传递到显示系统时，本公开的信息处理使用该操作来传输负等待时间图像以便适应现实世界。在图1的示例中，在计算系统输出的第三阶段PS13中，在时间点t12生成图像FD1。这里，图像FD1是与对象(现实世界)的时间点t21对应的图像。本公开的信息处理在对象(现实世界)的时间点之前的对象(现实世界)的时间点预测和生成图像。在本公开的信息处理中，使用时间点t11之前的信息生成图像FD1。例如，在本公开的信息处理中，使用图像在时间点t11之前已经变化的部分(像素)的信息生成图像FD1。以这种方式，在本公开的信息处理中，仅使用处理所需的图像的部分(像素)的信息来生成图像FD1。
以这种方式，本公开的信息处理在第三阶段PS13中在时间点t21之前的时间点t12生成与时间点t21对应的图像FD1，使得可以在显示系统输出的第四阶段PS14中在时间点t21输出图像FD1。即，本公开的信息处理使得使得可以实现当通过显示系统输出观察时，似乎以与现实世界中相同的定时生成数据的处理(系统)，并且表达实时世界。
此外，通过使用过去的数据来预测未来的数据来实现如上所述的实时世界。例如，通过获取具有比常规技术的帧数据在时间方向上更高密度的信息来实现。因此，具有这种功能的成像系统可以用于本公开的信息处理。这使得可以通过利用在常规技术中无法利用帧数据获得的帧间信息来生成新的附加价值。例如，这种成像系统的示例包括基于事件的视觉传感器(EVS)。EVS也被称为动态视觉传感器(DVS)。
这里，将描述EVS。例如，EVS通过透镜对预定成像范围进行成像。EVS是异步图像传感器，在该异步图像传感中，具有光电转换元件的多个像素被二维布置，并且为每个像素设置实时检测地址事件的检测电路。地址事件是对分配给以二维图案布置的多个像素中的每个像素的每个地址发生的事件，并且对应于基于在光电转换元件中生成的电荷的电流的值或该值的变化量超过某个阈值的事件。
EVS检测每个像素是否发生地址事件。当已检测到发生地址事件时，EVS从已经发生地址事件的像素读取像素信号作为像素数据。
EVS对于已检测到发生地址事件的像素执行像素信号读取操作。因而，EVS能够以比针对所有像素以预定帧速率执行读取操作的同步图像传感器中的速度高得多的速度来执行读取，其中，将作为一个帧被读出的数据量较小。
因此，信息处理装置100(参考图4)可通过使用EVS更快地检测目标生物体的运动。此外，EVS还可以实现功耗的减少以及数据量的减少。要注意的是，EVS是示例，并且成像系统可以是任何装置(诸如EVS)，只要该装置可在时间方向输出高密度信息。
此外，如图2所示，利用本公开的信息处理，能够以比常规帧数据更高的时间分辨率生成由计算系统生成的图像。在下文中，将适当地省略与上述描述相似的点的描述。图2中的第一阶段PS11对应于图1中的第一阶段PS11。图2中的第二阶段PS12对应于图1中的第二阶段PS12。图2中的第三阶段PS13对应于图1中的第三阶段PS13。图2中的第四阶段PS14对应于图1中的第四阶段PS14。如图2所示，本公开的信息处理在计算系统输出的第三阶段PS13中生成具有负等待时间的图像，并且在显示系统输出的第四阶段PS14中，在与对象(现实世界)对应的时间点显示在第三阶段PS13中生成的图像。以这种方式，本公开的信息处理使得可以执行实时输出并且与常规技术相比，进一步增强现实世界中的表现力。
[1-1-2.背景等]
这里，将描述诸如执行如上所述的本公开的信息处理的背景的情况。已经开发了与虚拟现实(VR)和增强现实(AR)相关的技术，以及通过远程控制的机器人操作和使用AR眼镜的游戏的市场的扩展。当前开发的技术包括对交互元素被添加到AR空间中的混合现实(MR)的研究，导致现实与虚拟空间之间的边界在不久的将来消失的可能性。用于实现虚拟空间与现实空间之间的无边界的无边界状态的重要技术之一是系统等中的实时处理。
另一方面，如图21所示，存在从常规技术中的处理速度和通信速度导出的延迟时间。因此，在诸如棒球和乒乓球这样的运动中在识别快速移动物体之后执行眼睛跟踪和反应或执行快速动作操作时，存在难以实现实时操作的问题。
鉴于此，本公开的信息处理相对于时间轴上的流数据预测未来数据，使得可以从原始数据生成具有比帧同步信号更高的分辨率的新图像，以便输出实时数据。即，本公开的信息处理实现以下处理：相对于时间轴上的流数据预测未来数据，从原始数据生成具有比帧同步信号更高的分辨率的新图像，并且输出实时数据。本公开的信息处理中的输出装置不限于显示器，并且可以是致动器等。例如，本公开的信息处理使得可以支持用户反应(人的反应速度、机器人的致动器的延迟)。此外，本公开的信息处理使得可以通过MR对运动对象执行实时渲染。
[1-1-3.根据第一实施例的信息处理的概要]
在下文中，将基于上述前提描述每个实施例。以下示例性实施例基于图1和图2中所描述的信息处理(其概念)。首先，将参考图3描述根据第一实施例的信息处理。图3是示出根据本公开的第一实施例的信息处理的示例的示图。通过信息处理装置100实现根据第一实施例的信息处理。图3中用参考标号表示的实心矩形表示信息处理装置100的组件，而图3中的虚线矩形表示在由信息处理装置100执行的信息处理中获取或生成的信息。
图3描述了实施作为最基本的概念的信息处理的信息处理装置100。信息处理装置100包括输入装置101、未来信息生成装置102、过去信息生成装置103和信号输出装置104。信息处理装置100的输入装置101对应于图1和图2中的第二阶段PS12的成像系统。此外，信息处理装置100的未来信息生成装置102对应于图1和图2中的第三阶段PS13的计算系统。此外，信息处理装置100的信号输出装置104对应于图1和图2中的第四阶段PS14的显示系统。将参考图4描述信息处理装置100的配置的细节。
在图3的示例中，输入装置101将现实世界转换为指示事件的信息(也称为“事件信息”)。例如，输入装置101对现实世界成像，并将成像的现实世界转换为事件信息。在图3中，输入装置101捕获现实世界中的预定区域的图像，并生成指示在第一时间预定区域中具有变化的部分的信息(事件信息)作为当前信息。注意，当前信息可以包括帧数据。在这种情况下，输入装置101可以将成像的现实世界转换为帧数据，并且从成像的现实世界生成帧数据。
随后，输入装置101将当前信息传递到未来信息生成装置102。未来信息生成装置102使用该当前信息生成用于显示比第一时间晚的第二时间的图像的信息作为未来信息。在图3中，未来信息生成装置102生成用于显示第二时间的图像的生成的编码数据作为未来信息。例如，未来信息生成装置102生成表示被预测为在第二时间预定区域中具有变化的部分的信息(事件信息)作为未来信息。
未来信息生成装置102在生成未来信息时，使用由过去信息生成装置103提供的信息(也称为过去信息)。过去信息生成装置103将诸如过去生成的编码数据的已经处理的过去信息提供给未来信息生成装置102作为过去信息。通过递归地使用已经处理的过去信息，未来信息生成装置102可以通过具有高时间分辨率的连续信息生成未来信息。
随后，未来信息生成装置102将该未来信息传递到信号输出装置104。信号输出装置104将未来信息转换为与输出模式对应的格式。例如，信号输出装置104根据应用来转换数据的格式，诸如图像数据或用于驱动机器人的致动器的信号。在图3中，信号输出装置104将指示预测在第二时间内在预定区域内具有变化的部分的信息(事件信息)的格式转换成与第二时间对应的图像数据。信号输出装置104通过使用指示预测在第二时间在预定区域中具有变化的部分的信息(事件信息)来显示与第二时间相对应的图像。在图3的示例中，例如，信息处理装置100在球运动或者眼睛跟踪中学习球或者视线的轨迹，并且相对于连续信息估计未来运动。另外，可从原始数据生成复合数据，并将该复合数据发送到诸如显示器的显示装置，这将在下面描述。
[1-1-4.根据第一实施例的信息处理装置的配置]
接下来，将描述作为执行根据第一实施例的信息处理的信息处理装置的示例的信息处理装置100的配置。图4是示出根据本公开的第一实施例的信息处理装置的配置示例的示图。
注意，作为用于实现信息处理装置100的硬件的构成要素可以采用任意方面。例如，信息处理装置100可实施为诸如芯片的任何形式的模块。堆叠层可由TSV、微凸块、Cu-Cu连接等形成。在信息处理装置100实现为芯片的情况下，芯片可堆叠有三层或更多层。例如，在诸如输入装置101、未来信息生成装置102、信号输出装置104等组件被安装在芯片上的情况下，该芯片可层叠三层或更多层。此外，对于堆叠可以采用诸如硅通孔(TSV)、微凸块或Cu-Cu连接的任何配置。
如图4所示，信息处理装置100包括输入装置101、计算装置110以及信号输出装置104。应注意，信息处理装置100可包括通信部或者存储部。例如，通信部由诸如通信电路的组件实现。通信部以有线或无线信道连接至网络，并且向和从另一信息处理装置传输和接收信息。存储部例如由诸如存储电路的存储器实现。
输入装置101通过采用与目标信息相对应的配置来实现。例如，在目标信息是图像的情况下，通过采用与诸如检测图像的传感器的装置相关的配置来实现输入装置101。用作输入装置101的传感器不限于图像传感器，并且可以是检测加速度、角速度、声音或振动的传感器。
例如，输入装置101可以是飞行时间(TOF)传感器、图像传感器等，或者可以是其组合。输入装置101可以通过使用EVS来实现。另外，用作输入装置101的图像传感器可以是完全电气化传送方法、脉宽调制(PWM)像素或有机或无机光电转换膜。图像传感器的像素可采用任何配置。例如，像素可具有一个光电二极管(PD)连接至电荷检测器(FD)或者两个或更多个PD可连接至FD的配置。此外，作为PTW像素的示例，斜率信号进入可变电阻(VR)，并且由RSEL重置并选择K_RST，使得可以根据从PD生成的电荷量生成PTW信号。PD的光电转换膜可以是有机或无机的。
此外，图像传感器的像素晶体管(Tr)可以是诸如金属氧化物半导体场效应晶体管(MOSFET)、铟镓锌氧化物场效应晶体管(IGZOFET)、隧道场效应晶体管(TFET)和有机场效应晶体管(有机FET)的晶体管。此外，其上布置有像素阵列的芯片不限于背照式，并且可以是前照式。另外，从输入装置101输出的信息不限于二维空间数据，并且可以是三维空间数据。注意，指示时间的信息(时间信息)被分配给由输入装置101输出的信息。
模数转换器(ADC)可以是单斜率ADC、双积分型、逐次逼近寄存器(SAR)、增量累加转换器(delta sigma converter)等。分辨率可以是1b至12比特等。可选地，允许使用诸如检测像素信号之间的差异的EVS的方法。例如，ADC可以是EVS类型的列ADC。
计算装置110由计算装置来实现。计算装置110可包括作为计算装置的数字信号处理器(DSP)，并且DSP可被包括在同一芯片中，可被堆叠，或者可被设置在芯片外部。计算装置110可以包括由存储器阵列构成的存储器(CiM)型计算装置作为计算装置。应注意，图13中描绘了CiM的配置示例。计算装置110可以包括诸如静态随机存取存储器(SRAM)、电阻随机存取存储器(RRAM)和磁阻随机存取存储器(MRAM)的装置作为组件。
应注意，以上仅是一个示例，并且只要能够实现期望的处理，就可以采用计算装置110的任意配置。例如，计算装置110可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。计算装置110可以通过使用存储部作为工作区通过各种处理器(诸如中央处理单元(CPU)、图形处理单元(GPU)或微处理单元(MPU))执行存储在信息处理装置100中的程序(例如，根据本公开的信息处理程序)来实现。计算装置110还用作控制装置。
如图4所示，计算装置110包括获取装置111、未来信息生成装置102和过去信息生成装置103，并且实现或执行下述信息处理的功能和动作。计算装置110的内部配置不限于图4中描述的配置，并且可以是任何其他配置，只要它是执行下面描述的信息处理的配置。
获取装置111获取各种类型的信息。获取单元111从输入装置101获取信息。获取单元111获取作为关于目标区域的信息的一部分的第一信息。获取装置111获取第一信息，该第一信息是关于由传感器检测的目标区域的信息的一部分。获取单元111获取第一信息，该第一信息是关于目标区域的信息中的关于未来信息生成装置102处理所需的部分的信息。获取单元111获取第一信息，该第一信息是关于目标区域的信息中在第一时间包括变化的部分的信息。
获取单元111获取相对于关于目标区域的信息稀疏的第一信息。获取单元111从目标区域稀疏地获取第一信息。获取单元111获取与离散地位于目标区域中的多个部分对应的第一信息。获取单元111获取与目标区域内的预定比例或更小的一部分对应的第一信息。例如，获取单元111获取与目标区域的一半(50％)或更少对应的第一信息。可适当地设定预定比例。例如，获取装置111根据应用获取与预定比例或更少的部分相对应的第一信息。在信息处理装置100安装在汽车上并且成像并且识别交通灯的情况下，获取装置111获取与图像的30％或更少对应的第一信息。
获取单元111获取与作为图像的关于目标区域的信息的一部分对应的第一信息。获取装置111获取与图像中具有变化的像素相对应的第一信息。
未来信息生成装置102执行生成未来信息的处理。基于由获取单元111获取的第一信息，未来信息生成装置102生成与第二时间相对应的第二信息，该第二时间晚于作为与第一信息相对应的时间的第一时间。基于第一信息，未来信息生成装置102生成预测为在第二时间由传感器检测的第二信息。
未来信息生成装置102生成作为与第二时间对应的编码数据的第二信息。未来信息生成装置102基于第一信息和与包括早于第一时间的时间信息的第三时间对应的第三信息生成第二信息。
未来信息生成装置102通过使用在生成第二信息之前生成的第三信息生成第二信息。未来信息生成装置102基于第一信息生成与在第二时间的图像对应的第二信息。未来信息生成装置102基于第一信息生成与在第二时间的图像对应的第二信息。
由未来信息生成装置102生成未来信息的推断时间等于或短于输入装置101的延迟和信号输出装置104的延迟(也称为“基准时间”)。未来信息生成装置102以等于或小于输入装置101的延迟时间和信号输出装置104的延迟时间的时间生成未来信息。未来信息生成装置102可以使用预测模型，该预测模型使用关于具有变化的像素的信息作为输入，并且输出指示此后被估计为具有变化的像素的信息。未来信息生成装置102可以使用预测模型，该预测模型使用关于在第一时间具有变化的像素的信息作为输入，并且输出指示估计为在第二时间具有变化的像素的信息。例如，未来信息生成装置102可以使用训练的预测模型来生成未来信息，使得从输入到输出的时间小于基准时间。
过去信息生成装置103执行生成过去信息的处理。过去信息生成装置103基于由获取单元111获取的各种信息来生成过去信息。
信号输出装置104使用由未来信息生成装置102生成的信息执行与输出有关的各种类型的处理。信号输出装置104使用由未来信息生成装置102生成的信息输出图像。在这种情况下，信号输出装置104是显示器、AR眼镜、视网膜扫描显示器等。例如，信号输出装置104具有显示装置的功能。信号输出装置104不限于上述，并且可以是根据输出模式的任何输出装置，诸如机器人的致动器。即，信号输出装置104可以采用任何配置，只要它具有将从未来信息生成装置102等接收的数据转换为某种形式并输出转换后的数据的功能即可。
[1-1-5.信息处理过程]
接下来，将参考图5描述各种类型的信息处理的过程。将参考图5描述与信息处理装置相关的处理流程。图5是描述信息处理装置的处理过程的流程图。例如，由信息处理装置100执行在图5的流程图中描述的信息处理。
如图5所示，信息处理装置100获取第一信息，该第一信息是关于目标区域的信息的一部分(步骤S101)。随后，基于第一信息，信息处理装置100生成与第二时间相对应的第二信息(步骤S102)，该第二时间是晚于第一时间的时间，第一时间是与第一信息相对应的时间。
[1-2.第二实施例]
接下来，将参考图6和图7描述第二实施例。首先，将参考图6描述根据第二实施例的信息处理的概要。
[1-2-1.根据第二实施例的信息处理的概要]
图6是描述根据本公开的第二实施例的信息处理的示例的示图。图6所示的信息处理装置100A是图1中所示的信息处理装置100的衍生形式，并且除信息处理装置100之外还包括当前信息生成装置105和组合装置106。
在下文中，将描述与第一实施例中配置对应的配置，其中，“A”添加到参考标号的末端，并且将在下文中描述不同于第一实施例的点。与第一实施例的配置类似的配置由与第一实施例的配置相同的参考标号表示，并且将适当地省略其描述。即，在第二实施例中，对于与第一实施例中的配置类似的配置，用“***A”代替“***”。例如，第二实施例中的未来信息生成装置102A具有与第一实施例中的未来信息生成装置102类似的配置，并且将适当地省略除了它们的不同点之外的描述。
在图6中，输入装置101将当前信息传递到当前信息生成装置105。使用当前信息，当前信息生成装置105生成要与由未来信息生成装置102A生成的未来信息组合的信息(面向组合的当前信息)。在图6中，当前信息生成装置105生成与第一时间的图像对应的当前信息编码数据作为面向组合的当前信息。例如，当前信息生成单元105生成表示指示在第一时间在预定区域中具有变化的部分的信息(事件信息)的当前信息编码数据。当前信息生成装置105将所生成的面向组合的当前信息传递给组合装置106。
未来信息生成装置102A在生成未来信息时，使用由过去信息生成装置103A提供的信息(也称为过去信息)。过去信息生成装置103A将诸如过去由组合装置生成的组合编码数据的已经处理的过去信息作为过去信息提供给未来信息生成装置102A。通过递归地使用已经处理的过去信息，未来信息生成装置102A可以通过具有高时间分辨率的连续信息生成未来信息。
以这种方式，在信息处理装置100A中，未来信息生成装置102A可以通过在生成未来信息时添加当前信息来检测现实世界与生成信息之间的差异。通过该操作，信息处理装置100A能够以固定的定时实时地校正用于计算的参数。
随后，未来信息生成装置102A将该未来信息传递至组合装置106。组合装置106执行组合从未来信息生成装置102A输出的数据与从当前信息生成装置105输出的数据的组合处理。
组合装置106使用未来信息和面向组合的当前信息来生成用于显示比第一时间晚的第二时间的图像的信息作为组合信息。在图6中，通过将未来信息与面向组合的当前信息组合的组合处理，组合装置106生成用于将第二时间的图像显示为组合信息的组合编码数据。组合装置106可以通过将未来信息和面向组合的当前信息求和来生成组合信息。此外，组合装置106可以通过对未来信息和面向组合的当前信息的每条信息进行加权和求和来生成组合信息。例如，组合装置106生成指示被预测为在第二时间在预定区域中具有变化的部分的信息(事件信息)作为组合信息。
随后，组合装置106将组合信息传递到信号输出装置104。信号输出装置104将组合信息转换为与输出模式对应的格式。例如，信号输出装置104通过使用指示被预测为在第二时间在预定区域中具有变化的部分的信息(事件信息)来显示与第二时间相对应的图像。
[1-2-2.根据第二实施例的信息处理装置的配置]
接下来，将描述根据第二实施例的信息处理装置的配置。图7是示出根据本公开的第二实施例的信息处理装置的配置示例的示图。如图7所示，信息处理装置100A包括输入装置101、计算装置110A和信号输出装置104。
类似于计算装置110，计算装置110A由诸如计算装置或处理器的装置来实现。如图7所示，计算装置110A包括获取单元111、未来信息生成装置102A、过去信息生成装置103A、当前信息生成装置105以及组合装置106，并且实现或执行以下描述的信息处理的功能和动作。计算装置110A的内部配置不限于图7中描述的配置，并且可以是任何其他配置，只要其是执行下面描述的信息处理的配置。
当前信息生成装置105执行生成当前信息的处理。当前信息生成装置105使用第一信息生成用于与第二信息组合的第四信息。当前信息生成装置105生成作为与第一时间对应的编码数据的第四信息。
组合装置106执行组合信息的处理。组合装置106组合第二信息与其他信息以生成用于输出的组合信息。组合装置106组合第二信息与第四信息以生成组合信息。
[1-3.第三实施例]
接下来，将参考图8描述第三实施例。
[1-3-1.根据第三实施例的信息处理的概要]
图8是示出根据本公开的第三实施例的信息处理的示例的示意图。注意，在第三实施例中，第二实施例的过去信息生成装置103A被实现为学习模型103B，其中，也实现了其他配置的硬件配置。
在下文中，由附接至参考标号的末端的“B”表示与第二实施例中的配置对应的配置。在第三实施例中，与第二实施例相对应的配置由“***B”表示，而不是第二实施例中的参考标号“***”或“***A”，并且适当地省略与上述点类似的描述。例如，第三实施例中的传感器101B是第二实施例中的输入装置101的具体示例，并且输入装置101由传感器101B实现。
除了使用在对应于未来信息生成装置102A的计算装置102B生成的数据中递归地使用转换为过去信息的数据的功能之外，信息处理装置100B中的过去信息生成装置包括使用过去信息创建的学习模型103B。以这种方式，信息处理装置100B使用利用过去的信息训练的学习模型103B。学习模型103B被实施为用于生成未来信息的计算装置102B的计算参数。在信息处理装置100B中，作为未来信息生成装置的计算装置102B通过使用学习模型103B生成作为第二信息的未来信息，该学习模型103B通过使用作为第三信息的过去信息而更新。学习模型103B可以是任何信息，只要它是用于生成未来信息的模型。例如，学习模型103B可以是预测模型，该预测模型使用关于具有变化的像素的信息作为输入，并且输出指示被估计为在之后具有变化的像素的信息。
图8中所示的传感器101B是输入装置101的实现示例。此外，计算装置102B是未来信息生成装置102和102A的实现示例。未来信息生成装置102和102A可以是乘法累加器(multiply-accumulator)等。
另外，学习模型103B是过去信息生成装置103和103A的实现示例。过去信息生成装置103和103A可以是乘法累加器、学习模型等。另外，作为显示装置或致动器的解码器104B是信号输出装置104的示例。此外，计算装置105B是当前信息生成装置105的示例。此外，编码数据组合装置106B与组合装置106相对应，并且编码数据组合装置106B可以通过任何计算装置、组合电路等来实现。
[1-4.第四实施例]
接下来，将参考图9描述第四实施例。
[1-4-1.根据第四实施例的信息处理的概要]
图9是描述根据本公开的第四实施例的信息处理的示例的示图。在下文中，由附接至参考标号的末端的“B”表示与第三实施例中的配置对应的配。在第四实施例中，与第三实施例相对应的配置由“***C”表示，而不是第三实施例中的参考标号“***”或“***B”，并且适当地省略与上述点类似的描述。
信息处理装置100C利用过去信息实时地更新学习模型103C。信息处理装置100C使用过去信息来更新学习模型103B的计算参数。例如，每当生成未来信息时，信息处理装置100C可以执行所生成的未来信息作为过去信息的反馈，并且可以更新学习模型103B的计算参数。例如，信息处理装置100C可以使用过去信息和与在与过去信息相对应的时间(时间点)由传感器所检测的现实世界的信息相对应的地面真实信息来更新学习模型103B的计算参数。在这种情况下，信息处理装置100C更新学习模型103B的计算参数，使得过去信息接近地面真实信息。以这种方式，信息处理装置100C能够利用过去信息实时地更新学习模型，从而能够提高计算精度。以上描述仅仅是示例。不仅仅是生成未来信息的每个定时，信息处理装置100C可以在预定定时执行生成的未来信息作为过去信息的反馈并且可以更新学习模型103B的计算参数。例如，在未来信息的生成次数达到预定次数的情况下，信息处理装置100C可以执行到此为止生成的未来信息作为过去信息的反馈，并且可以更新学习模型103B的计算参数。
[1-5.第五实施例]
接下来，将参考图10描述第五实施例。
[1-5-1.根据第五实施例的信息处理的概要]
图10是描述根据本公开的第五实施例的信息处理的示例的示图。在下文中，由附接至参考标号的末端的“B”表示与第四实施例中的配置对应的配置。在第五实施例中，与第四实施例相对应的配置由“***D”表示，而不是第四实施例中的参考标号“***”或“***C”，并且适当地省略与上述点类似的描述。
在信息处理装置100D中，由作为当前信息生成装置的计算装置105D获得的计算结果信息(当前编码数据)被直接传送给作为未来信息生成装置的计算装置102D。计算装置102D使用当前信息和当前编码数据生成未来信息。通过该操作，信息处理装置100D能够提高计算精度。计算装置102D可通过使用预测模型来生成未来信息，该预测模型使用当前信息和当前编码数据作为输入，并输出指示被估计为在之后具有变化的像素的信息。应注意，以上仅是示例，并且只要使用当前信息和当前编码数据，计算装置102D可通过任何类型的处理生成未来信息。
[1-6.第六实施例]
接下来，将参考图11和图12描述第六实施例。首先，将参考图11描述根据第六实施例的信息处理的概要。
[1-6-1.根据第六实施例的信息处理的概要]
图11是示出根据本公开的第六实施例的信息处理的示例的示图。在下文中，由附接至参考标号的末端的“B”表示与第五实施例中的配置对应的配置。在第六实施例中，与第五实施例相对应的配置由“***E”表示，而不是第五实施例中的参考标号“***”或“***D”，并且适当地省略与上述点类似的描述。
在信息处理装置100E中，来自作为输入装置的传感器101E的数据(当前信息)，即，在通过作为未来信息生成装置的计算电路102E进行计算之前的数据，被直接用于更新学习模型103E。信息处理装置100E使用当前信息更新学习模型103E的计算参数。例如，信息处理装置100E可以使用当前信息以及与当前信息相对应的时间(时间点)的过去信息更新学习模型103B的计算参数。例如，信息处理装置100E可以使用基于当前信息的地面真实信息并且使用过去信息更新学习模型103B的计算参数。在这种情况下，信息处理装置100E更新学习模型103B的计算参数，以使得过去信息接近地面真实信息。在信息处理装置100E中，作为未来信息生成装置的计算电路102E通过使用学习模型103E生成作为第二信息的未来信息，该学习模型103E通过使用作为第一信息的当前信息而更新。以这种方式，信息处理装置100E能够利用当前信息实时地更新学习模型，能够提高计算精度。即，信息处理装置100E可以执行能够进一步提高计算精度的学习模型103E的实时生成。
可以采用第一实施例至第六实施例的要素的任何组合。例如，可以将上述第二实施例至第六实施例的任一个要素、多个要素或所有要素添加到第一实施例中。
[1-6-2.根据第六实施例的信息处理装置的配置]
这里，将参考图12描述在图11中描述的信息处理装置100E的每个配置的具体示例。图12是根据本公开的第六实施例的信息处理装置的配置示例的示图。
可通过采用诸如CMOS图像传感器(CIS)、EVS、TOF、惯性测量单元(IMU)和麦克风的各种传感器来实现作为输入装置的传感器101E。注意，传感器包括读取电路和控制电路。
此外，作为未来信息生成装置的计算电路102E能够通过采用诸如数字电路、模拟电路或CiM的计算电路来实现。例如，CiM具有如图13所示的配置。图13是描述CiM的配置的示例的示图。图13是CiM的概念图。图13中的ADC是将模拟信号转换为数字值的转换器，并且图13中的数模转换器(DAC)是将数字值转换为模拟信号的转换器。例如，来自ADC或DAC的线穿过的矩形各自指示存储器阵列的要素(单元)。
例如，CiM可以是将可假定的可变电阻元件(诸如RRAM)布置在交叉式阵列上以实现模拟乘法累加的乘法累加器。例如，CiM可以是乘法累加器，其与使用相变存储器(PCM)实现的多值存储器实现模拟乘法累加，布置在交叉式阵列上。例如，CiM可使用磁存储器(MRAM等)来代替RRAM或PCM。例如，CiM可以是具有FeFET和在其漏极侧具有高电阻元件的存储单元被布置在交叉式阵列上的配置的装置。
例如，CiM可以是具有数字和模拟配置两者的乘法累加器，其使用通过使用SRAM的XNOR电路执行乘法，结果被充电到电容器中，并且每个单元的乘法的结果被累加的方法。例如，CiM可以是使用3D NAND访问和读取多个期望的FET以便通过累积读出电流实现乘法累加的方法。例如，CiM可以由NOR闪存单元被布置在阵列上的乘法累加器来实现。例如，CiM可以由电荷捕获晶体管(CTT)被排列在阵列上的乘法累加器来实现。注意，以上仅是示例，CiM可以通过任何配置实现。
此外，作为过去信息生成装置的学习模型103E可以通过采用数字电路、模拟电路等来实现。例如，学习模型103E可以使用在不执行复杂计算的情况下执行用于小规模的学习模型更新的加法、除法或乘法的信号处理电路等。
此外，作为信号输出装置的解码器104E可以通过采用显示器、头戴式显示器(HMD)等实现。此外，作为当前信息生成装置的计算装置105E可以通过采用诸如数字电路、模拟电路或CiM的计算电路来实现。注意，计算电路包括读取电路和控制电路。
另外，作为组合单元的编码数据组合装置106E可以采用数字电路或模拟电路等来实现。应注意，编码数据组合装置106E可使用在不执行复杂计算的情况下以小规模执行数据的加法、除法或乘法的信号处理电路等。
此外，在图12中，虽然未由连接线描述，但是信息处理装置100E包括由各个组件共享的I/O 140、存储器150以及逻辑电路160。例如，I/O 140是用于单独访问计算装置、传感器和显示部的输入/输出单元。例如，存储器150用于存储计算结果和数据。例如，逻辑电路160是用于计时的电路。另外，信息处理装置100至100D也同样地包括I/O140、存储器150、逻辑电路160。
[1-7.第七实施例]
接下来，将参考图14和图15描述第七实施例。首先，将参考图14描述根据第七实施例的信息处理装置的配置概述。
[1-7-1.根据第七实施例的信息处理装置的配置概要]
图14是示出根据本公开的第七实施例的信息处理装置的配置示例的示图。图14中所描绘的信息处理装置200具有模仿神经元形态计算的配置。在图14中，信息处理装置200包括五个功能块，即，输入层210、第一计算层220、第二计算层230、输出层240以及控制层250。用作信息处理装置200中的输入装置的输入层210包括并行信号输入装置211。用作信息处理装置200中的计算装置的第一计算层220包括过去信息存储装置221、并行信号计算装置222和学习模型223。此外，用作信息处理装置200中的计算装置的第二计算层230包括过去信息存储装置231、并行信号计算装置232以及学习模型233。用作信息处理装置200中的输出装置的输出层240包括信号输出装置241。用作信息处理装置200中的更新装置的控制层250包括系数更新装置251。
信息处理装置200中的并行信号输入装置211对应于人的视网膜。另外，信息处理装置200的过去信息存储装置221和231对应于人的丘脑。此外，信息处理装置200包括两个并行信号计算装置222和232。并行信号计算装置222对应于外侧膝状体核，而并行信号计算装置232对应于大脑皮质层。人脑被认为具有两层结构的计算装置，并且使用过去信息、学习模型223和233以及输入信号来输出信号。
用于操作的输入信号实质上是所有信号的25％-20％，并且例如，在第二层的第二计算层230中，第一层的第一计算层220的计算结果的大约75％用作输入。也可以以模拟这种计算系统的形式来配置信息处理装置200(系统)。在图14的示例中，并行信号输入装置211的数据量可以是总数的25％或更小，并且后续级中的数据输入装置的数据量可以是第一级的20％或更小。应注意，信息处理装置200还可用作用于实现上述第一实施例至第六实施例的信息处理的装置(信息处理装置100至100E)。
[1-7-2.根据第七实施例的信息处理装置的配置]
这里，将参考图15描述上述信息处理装置200的配置的示例。图15是描绘根据本公开的第七实施例的信息处理装置的配置示例的示图。
如图15所示，用作信息处理装置200的输入装置的输入层210可使用帧或者EVS。此外，信息处理装置200的第一计算层220对应于计算装置、存储装置以及学习模型，并且可以使用由单元构成的计算装置等。在图15中，第一计算层220以一个级描绘，但可具有至少一个或多个(多个)级的配置。此外，信息处理装置200的第二计算层230对应于计算装置、存储装置以及学习模型，并且可以使用由单元构成的计算装置等。类似地，第二计算层230在图15中以两个级描绘，但可以是至少四级或更多级的多个级。
用作信息处理装置200的输出装置的输出层240可以使用AR眼镜等。此外，用作信息处理装置200中的控制装置的控制层250可以使用控制第一计算层220、第二计算层230等的个体子单元Wxx的系数的控制电路等。
[1-8.应用示例]
下面将描述应用的示例。在下文中，将描述将信息处理装置100应用于应用的情况作为示例，其中可使用信息处理装置100A至100E，而不限于信息处理装置100。
[1-8-1.机器人]
首先，将描述将信息处理装置100用于诸如在图16中描述的机器人10的控制的信息处理的示例。图16是描述使用信息处理装置的应用的示例的示图。图16描述了信息处理装置100安装在机器人10上的情况。要注意的是，图16仅是一个示例，并且信息处理装置100本身可以是机器人10。
例如，信息处理装置100可以抑制诸如机器人10的控制的操作中的信息处理延迟的影响。在图16中，机器人10可以用更像人类的视觉和未来预测功能来行动，使机器人10能够像人一样行动。例如，机器人10可以在预测未来数百毫秒之前移动。例如，将来自大脑的命令传输到人的肌肉需要50毫秒，因此人使用基于视觉信息的未来预测来控制身体。在这方面，使用未来预测采取动作的机器人10可以采取更接近人的动作。
[1-8-2.虚拟空间上的活动]
接下来，将描述将信息处理装置100用于信息处理(诸如，使用图17中所描述的AR眼镜20的显示器)的示例。图17是描述使用信息处理装置的应用的示例的示图。图17描述了信息处理装置100安装在AR眼镜20中的情况。应注意，图17仅是一个示例，并且信息处理装置100本身可以是AR眼镜20。
例如，信息处理装置100可抑制诸如AR眼镜20的显示的信息处理中的延迟的影响。在图17中，使用AR眼镜20，用户不需要在一起，并且可以在虚拟空间上共享实时活动。在图17中，用户可以在虚拟空间中以零等待时间实时与另一方交换信息。
[1-8-3.其他应用示例]
应注意，以上仅是示例，并且信息处理装置100可用于各种应用中。例如，信息处理装置100可经由机器人应用于实时远程活动。这使能位于远程的机器人的实时远程控制。
此外，信息处理装置100可应用于诸如运动中的动作分析的实时信息反馈。这还使得可以获得实时活动反馈。
[1-9.移动体的应用示例]
除了上述应用之外，根据本公开的技术(本技术)可应用于各种产品。例如，根据本公开的技术可应用于安装在任何移动体(诸如，汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动性、飞机、无人机、船舶以及机器人)上的装置。
图18是描绘作为可应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图18所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053被描绘为集成控制单元12050的功能配置。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于产生车辆的驱动力的驱动力产生装置(诸如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。
车身系统控制单元12020根据各种程序来控制设置在车身上的各种装置的操作。例如，车身系统控制单元12020用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下，从作为钥匙的替代物的移动装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。
车外信息检测单元12030检测包括车辆控制系统12000的车辆外部的信息。例如，在车外信息检测单元12030上连接有成像部12031。车外信息检测单元12030使成像部12031对车辆外部的图像进行成像，并接收该成像图像。车外信息检测单元12030可以基于所接收的图像，进行检测诸如人、车辆、障碍物、标志、路面上的文字等物体的处理，或者检测其距离的处理。
成像部12031是接收光并且输出与所接收的光的光量对应的电信号的光学传感器。成像部12031可以输出电信号作为图像，或者可以输出电信号作为关于测量距离的信息。此外，成像部12031接收的光可以是可见光，或者可以是诸如红外线等不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员成像的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆与车道的偏离的警告等。
另外，微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆外部的信息车辆内部的信息，通过控制驱动力产生装置、转向机构、制动装置等，能够进行不依赖于驾驶员的操作等而自主行驶的自动驾驶用的协作控制。
另外，微型计算机12051可以基于由车外信息检测单元12030获得的关于车辆外部的信息，将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以通过根据由车外信息检测单元12030检测的前方车辆或对面车辆的位置，控制前照灯以从远光改变到近光，来执行旨在防止眩光的协作控制。
声音/图像输出部12052将声音和图像中的至少一个的输出信号发送到输出装置，该输出装置能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图18的示例中，音频扬声器12061、显示部12062和仪表板12063被描述为输出装置。例如，显示部12062可包括板上显示器和平视显示器中的至少一个。
图19是描绘成像部12031的安装位置的示例的示意图。
在图19中，车辆12100具有成像部12101、12102、12103、12104和12105作为成像部12031。
成像部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部内的挡风玻璃的上部的位置上。设置前鼻部的成像部12101和设置在车辆内部内的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置到侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门上的成像部12104主要获得车辆12100后面的图像。由成像部12101和12105获取的前方的图像主要用于检测前方车辆或行人、障碍物、交通灯、交通标志、车道等。
顺便提及，图19描述了成像部12101至12104的拍摄范围的示例。成像范围12111表示设置到前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置到侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置到后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据来获得从上方观看的车辆12100的鸟瞰图像。
成像部12101至12104中的至少一个可具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息确定在成像范围12111至12114内到每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取特别存在于车辆12100的行驶路径上并且以与车辆12100大致相同的方向以预定速度(例如，等于或大于0km/小时)行驶的三维物体作为前方车辆。另外，微型计算机12051可以预先设定跟随距离以保持在前方车辆的前方，并且执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。因此，可以进行用于自动驾驶的协作控制，其允许车辆自主行驶而不取决于驾驶员的操作等。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息，将三维物体的三维物体数据分类为二轮车、标准车辆、大型车辆、行人、电线杆等的三维物体的三维物体数据，提取分类的三维物体数据，并且将所提取的三维物体数据用于自动躲避障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由驾驶系统控制单元12010执行强制减速或躲避转向。微型计算机12051可由此辅助驾驶以避免碰撞。
成像部12101至12104中的至少一个可以是检测红外线的红外相机。微型计算机12051例如可以通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。行人的这种识别例如通过提取作为红外相机的成像部12101至12104的成像图像中的特征点的过程以及通过对表示对象的轮廓的一系列特征点执行图案匹配处理来确定是否是行人的过程来执行。当微型计算机12051确定在成像部12101到12104的成像图像中存在行人并因此识别出行人时，声音/图像输出部12052控制显示部12062，使得用于强调的正方形轮廓线被显示为叠加在识别出的行人上。声音/图像输出部12052还可控制显示部12062，使得在期望位置处显示表示行人的图标等。
在上文中，已经描述了根据本公开的技术可应用的车辆控制系统的示例。根据本公开的技术可适当地应用于上述配置之中的集成控制单元12050。具体地，在图3所示的信息处理装置100应用于集成控制单元12050的情况下，可将计算装置110应用于微型计算机12051。在计算装置110适用于微型计算机12051的情况下，例如，信号输出装置104和输入装置101可以应用于车载网络I/F 12053和声音/图像输出部12052。通过以这种方式将根据本公开的技术应用于集成控制单元12050，能够抑制延迟的发生，从而能够实现诸如具有高实时性的显示的各种输出。
上述应用仅是示例，信息处理装置100的各个配置可应用为车辆控制系统12000的各种配置。例如，计算装置110可以应用于车外信息检测单元12030或车内信息检测单元12040。通过以这种方式将本公开的技术应用于车外信息检测单元12030或车内信息检测单元12040，能够抑制延迟的发生，导致实现实时性高的检测。在这种情况下，例如，输入装置101可以应用于成像部12031或驾驶员状态检测部分2041。例如，信号输出装置104可以应用于驱动系统控制单元12010或车身系统控制单元12020。通过将根据本公开的技术应用于驱动系统控制单元12010或车身系统控制单元12020，可以抑制延迟的发生，导致实现实时性高的控制。此外，例如，信号输出装置104可以应用于音频扬声器12061、显示部12062或仪表板12063。此外，通过以这种方式将根据本公开的技术应用于音频扬声器12061、显示部12062或仪表板12063，可以抑制延迟的发生，导致实现实时性高的输出。
[2.其他]
除了上述各实施例或修改以外，还可以各种不同的形式(修改)执行根据上述各实施例的过程。
此外，在上述实施例中描述的每个处理中，可以手动执行被描述为自动执行的处理的全部或部分，或者可以通过已知方法自动执行被描述为手动执行的处理。此外，除非另外指明，否则可以任何方式改变上述说明书或附图中描述的处理过程、特定名称和包括各种数据和参数的信息。例如，在每个附图中描述的各种信息不限于描述的信息。
此外，每个装置的每个组件被提供作为功能和概念说明，并且因此不一定需要如所描绘的那样物理地配置。即，每个装置的分布/集成的具体形式不限于在附图中描述的那些，并且其全部或一部分可以根据各种负载和使用条件在功能上或物理上分布或集成到任意单元中。
此外，在不与处理矛盾的情况下可在可实现的范围内适当地组合上述实施例和修改。
这里，将描述信息处理装置100作为示例，但是可对上述任一执行应用。例如，信息处理装置100包括输入装置101、至少一个或多个未来信息生成装置102和输出任意信息的输出装置。关于未来信息，从至少一个或多个过去信息生成装置103生成未来信息。此外，例如，信息处理装置100具有包括至少一个或者多个当前信息生成装置并且通过输出装置从组合装置输出任意信息的结构。关于未来信息，从至少一个或多个过去信息生成装置103和至少一个或多个当前信息装置生成未来信息。
例如，过去信息生成装置103包括：来自一个或多个未来生成装置和一个或多个当前信息生成装置的过去信息生成和预先存储在存储装置中的过去信息生成中的至少两个或多个生成装置的组合。例如，关于存储在存储装置中的过去信息，使用从当前信息生成单元和未来信息生成装置102中的一个生成的信息更新单元来更新过去信息。例如，关于存储在存储装置中的过去信息，使用从当前信息生成装置和未来信息生成装置102两者中生成的信息更新装置来更新过去信息。
例如，存储装置中的过去的信息量随时间减少。过去的信息量的减少系数具有至少两种时间常数。例如，存储装置的过去信息包括信息量随时间减小的存储内容和信息直到下一次更新才减小的存储内容。
例如，输入装置101在空间上是稀疏的并且在时间上是密集的。例如，输入装置101是EVS。例如，未来信息生成装置102的信息生成时间的延迟等于或小于输入装置101和信号输出装置104的延迟。例如，计算装置110仅计算在时间序列上变化的数据。例如，计算装置110通过使用成像系统或显示系统的延迟内的所有帧间信息来执行计算。
例如，输入装置101包括来自一个或多个低分辨率高速ADC的输出信号和来自一个或多个高分辨率低速ADC的输出信号。例如，输入装置101包括单独创建的物理信号检测装置。例如，输入装置101包括在同一检测装置中产生的至少两个或更多个检测装置。例如，信息处理装置100在从输入装置101到输出装置的读取流水线路径中具有从到过去信息生成装置103的信息路径到到未来信息生成装置102的信息路径的递归结构。
本说明书中描述的效果仅是示例，并且因此，可存在不限于示例性效果的其他效果。
[3.根据本公开的效果]
如上所述，根据本公开的信息处理装置(例如，这对应于第一实施例中的信息处理装置100)包括获取装置(例如，这对应于第一实施例中的获取装置111)和生成装置(例如，这对应于第一实施例中的未来信息生成装置102)。获取单元获取作为关于目标区域的信息的一部分的第一信息(例如，这对应于第一实施例中的当前信息)。基于获取单元获取的第一信息，生成单元生成与第二时间相对应的第二信息(例如，这与第一实施例中的未来信息相对应)，第二时间晚于与第一信息相对应的时间，即第一时间。
以这种方式，基于作为关于目标区域的信息的一部分的第一信息，根据本公开的信息处理装置生成与比作为与第一信息相对应的时间的第一时间晚的第二时间相对应的第二信息，使得可以有效地生成信息。
获取装置获取第一信息，该第一信息是关于由传感器检测的目标区域的信息的一部分。基于第一信息，生成装置生成预测为在第二时间由传感器检测的第二信息。以这种方式，基于通过传感器检测的第一信息，信息处理装置可以生成预测为在第二时间由传感器检测的第二信息，使得可以有效地生成关于预测为由传感器检测的信息的信息。
另外，获取装置获取关于目标区域的信息中的作为生成装置的处理所需的部分的信息的第一信息。以这种方式，信息处理装置可以通过仅使用由生成装置处理所需的部分的信息来有效地生成信息。
获取装置获取第一信息，该第一信息是关于目标区域的信息中在第一时间包括变化的部分的信息。以这种方式，信息处理装置可以通过仅使用在第一时间期间具有变化的部分的信息来有效地生成信息。
另外，获取装置获取相对于关于目标区域的信息稀疏的第一信息。以这种方式，信息处理装置可以通过使用相对于关于目标区域的信息稀疏的第一信息来有效地生成信息。
另外，获取装置获取与离散地位于目标区域中的多个部分对应的第一信息。以这种方式，信息处理装置可以通过使用与离散地位于目标区域中的多个部分对应的第一信息来有效地生成信息。
另外，获取装置获取与目标区域中的预定比例或更小的部分相对应的第一信息。以这种方式，信息处理装置可以通过使用与目标区域中的预定比例或更小的部分对应的第一信息来有效地生成信息。
生成装置生成作为与第二时间相对应的编码数据的第二信息。以这种方式，通过生成与第二时间相对应的编码数据，信息处理装置可以有效地生成在信号输出装置等中使用的信息。
生成装置基于第一信息和与作为比第一时间早的时间的第三时间相对应的第三信息(例如，这与第一实施例中的过去信息相对应)来生成第二信息。以这种方式，信息处理装置基于与作为比第一时间早的时间的第三时间相对应的第三信息生成第二信息以执行过去生成的信息的反馈，使得可以以高准确度执行信息生成。
生成装置通过使用比生成第二信息早生成的第三信息来生成第二信息。以这种方式，通过使用比生成第二信息早生成的第三信息生成第二信息，以执行过去生成的信息的反馈，使得可以以更高的精度执行信息生成。
生成装置通过使用通过利用第三信息更新的学习模型来生成第二信息。以这种方式，信息处理装置通过使用利用第三信息更新的学习模型来生成第二信息，使得可以以更高的精度执行信息生成。
此外，生成装置通过使用基于第一信息更新的学习模型来生成第二信息。以这种方式，信息处理装置通过使用基于第一信息更新的学习模型来生成第二信息，使得可以以更高的精度执行信息生成。
生成装置通过使用通过利用第一信息更新的学习模型来生成第二信息。以这种方式，信息处理装置通过使用利用第一信息更新的学习模型来生成第二信息，使得可以以更高的精度执行信息生成。
此外，信息处理装置包括组合装置(第二实施例中的组合装置106)，该组合装置将第二信息与其他信息组合以生成要用于输出的组合信息。以这种方式，通过将第二信息与其他信息组合来生成将用于输出的组合信息，信息处理装置可适当地生成将用于输出的信息。
另外，使用第一信息，生成装置(第二实施例中的当前信息生成装置105)生成用于与第二信息组合的第四信息(例如，这对应于第二实施例中的当前信息编码数据)。组合装置将第二信息和第四信息组合以生成组合信息。以这种方式，信息处理装置可以通过将使用第一信息生成的第四信息与第二信息组合来适当地生成用于输出的信息。
生成装置生成作为与第一时间相对应的编码数据的第四信息。以这种方式，信息处理装置使用于第一时间相对的编码数据生成组合信息，使得可以适当地生成用于输出的信息。
获取装置获取与作为图像的关于目标区域的信息的一部分相对应的第一信息。生成单元基于第一信息生成与第二时间的图像对应的第二信息。以这种方式，信息处理装置可以基于与图像的一部分对应的第一信息来生成与第二时间的图像对应的第二信息，使得可以有效地生成关于图像的信息。
获取装置获取与图像中具有变化的像素相对应的第一信息。生成单元基于第一信息生成与第二时间的图像对应的第二信息。以这种方式，信息处理装置可以基于与图像中具有变化的像素对应的第一信息来生成与第二时间的图像对应的第二信息，使得可以通过仅使用具有变化的像素的信息有效地生成信息。
[4.硬件配置]
例如，通过具有如图20中所示的配置的计算机1000实现根据每个上述实施例的信息处理装置100等。图20是描绘实施信息处理装置的功能的计算机1000的示例的硬件配置图。在下文中，将描述根据本实施例的信息处理装置100作为示例。计算机1000包括CPU1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的各个组件通过总线1050互连。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，以控制每个组件。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序展开到RAM 1200中，并且执行与各种程序相对应的处理。
ROM 1300存储诸如当计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序、依赖于计算机1000的硬件的程序等。
HDD 1400是记录由CPU 1100执行的程序、由该程序使用的数据等的非暂时性计算机可读记录介质。具体地，HDD 1400是记录作为程序数据1450的示例的根据本公开的信息处理程序的记录介质。
通信接口1500是用于将计算机1000连接到外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从其他装置接收数据或者向其他装置发送由CPU 1100生成的数据。
输入/输出接口1600是用于将输入/输出装置1650与计算机1000连接的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，CPU1100经由输入/输出接口1600将数据传输至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作用于读取记录在预定记录介质(或者简称为介质)上的程序等的介质接口。介质的示例包括诸如数字通用盘(DVD)或相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质以及半导体存储器。
例如，当计算机1000用作根据本实施例的信息处理装置100时，计算机1000的CPU1100执行加载到RAM 1200上的信息处理程序，以实现计算装置110等的功能。此外，HDD1400存储根据本公开的信息处理程序或存储部中的数据。虽然CPU 1100执行从HDD 1400读取程序数据1450，但是作为另一示例，CPU 1100可以经由外部网络1550从另一装置获取这些程序。
[5.其他实施例]
根据上述第一实施例至第七实施例的信息处理装置仅是示例。信息处理装置不限于第一实施例至第七实施例中所示的配置，并且可以采用任何配置。例如，信息处理装置不限于递归(反馈)配置，并且可具有前馈型配置。下面将举例说明这一点。
[5-1.第八实施例]
首先，将参考图22和图23描述根据第八实施例的信息处理装置的配置和处理的概要。图22和图23是描述根据本公开的第八实施例的信息处理装置的配置示例的示图。在下文中，将适当地省略与上述描述相似的点的描述。
在下文中，将参考图22描述信息处理装置100F的配置、用于处理的信息等，并且然后将描述学习时的处理。图22中所示的信息处理装置100F具有对应于上述输入装置、计算装置以及信号输出装置中的每一个的配置。例如，信息处理装置100F的计算单元不包括上述的过去信息生成装置。例如，信息处理装置100F的计算装置包括获取装置、未来信息生成装置、当前信息生成装置和组合装置。
图22中的图像组IG1包括多个图像，例如，与时间点t-2T对应的图像IMt-2T、与时间点t-T对应的图像IMt-T、与时间点t对应的图像IMt、以及与时间点t+nT对应的图像IMt+nT。要注意的是，在图22中描述的“I(t)”对应于图像IMt，并且“I(t+nT)”对应于图像IMt+nT。例如，时间点t对应于与当前最近的过去，并且时间点t+nT对应于从时间点t前进时间nT的未来。注意，n可以被设置为任意值或者可以被参数化。在图22中，图像组IG1被用作训练数据。
此外，在图22中表示为“事件”的事件数据E1表示对应于图像的事件信号输出。例如，事件数据E1指示检测的亮度变化。例如，事件数据E1是异步和具有细分时间(高时间分辨率)的稀疏数据。例如，事件数据E1可以是来自上述EVS的输出。
在图22中，信息处理装置100F获取图像组IG1的多个帧图像和作为对应于图像的事件数据E1的事件信号输出作为输入信号。例如，通过某个传感器(例如，上述传感器)检测图像组IG1和事件数据E1。例如，信息处理装置100F可以使用由一个传感器检测的图像组IG1和事件数据E1。以这种方式，输入可以是来自单个传感器的两个信号的输出。
注意，以上仅是示例，并且例如，输入可以各自来自可以执行全局快门操作的帧传感器和事件传感器，并且在尽可能消除视差的影响的情况下彼此相邻地安装。此外，传感器的数量可以是任意数量，例如，可以有两个帧传感器并且可以有两个事件传感器。
图22中表示为“Image2Event”的图像事件转换I2E是输出指示与输入图像对应的事件的信息(图像)的模型。图像事件转换I2E使用图像作为输入并且输出与输入对应的事件的图像。以这种方式，基于图像，图像事件转换I2E生成指示与图像相对应的事件的信息。因此，即使当事件的数据量小时，事件的信息也可以通过图像事件转换I2E生成，使得可以增加用于学习的数据量。信息处理装置100F使用由图像事件变换I2E生成的信息来执行下述训练处理。注意，图像事件转换I2E是在训练处理时使用的配置，而在推断处理时不使用。
此外，图22中表示为“Event 2Image”的事件图像转换E2I是从图像和指示事件的信息输出未来信息(图像)的模型。事件图像转换E2I对应于上述计算部和数据组合部。例如，事件图像转换E2I输出指示亮度是否改变的信息。事件图像转换E2I使用图像和指示事件的信息作为输入，并输出与该输入对应的未来信息(图像)。在信息图22中，如未来信息DT1所示，事件图像变换E2I将图像和指示事件的信息作为输入，并且输出与该输入对应的未来信息(图像)。图22中的未来信息DT1对应于上述组合数据。要注意的是，虽然在描述中省略“^”(帽子)，但是在示图中在字符上方添加的“^”(帽子)指示预测(估计)信息。例如，在输入与时间点t对应的图像IMt和与图像IMt对应的事件的信息的情况下，事件图像转换E2I输出与时间点t+nT对应的图像I(t+nT)作为未来信息。
图22中表示为“FormatConv”的格式转换FC从事件数据E1生成事件图像转换E2I的输入。格式转换FC对应于上述计算部。格式转换FC使用任何方法(诸如体元网格(VoxelGrid))生成从事件数据E1向事件图像转换E21输入的信息。格式转换FC通过将图像中已经发生事件的部分相加(积分)来生成与图像事件转换I2E的输出相似的信息。格式转换FC使用积分处理等来生成表示一定时间段内的面部轮廓、挥手动作等的信息。注意，上述处理仅是示例，事件图像转换E2I可通过任何方法生成要输入到事件图像转换E2I的信息。
在训练处理时，使用在图22中表示为“损耗(Loss)”的损耗函数L1和损耗函数L2。例如，损耗函数L1用于训练，使得图像事件转换I2E的输出和格式转换FC的输出彼此接近。此外，例如，损耗函数L2是用于训练，使得事件图像转换E2I的输出接近实施的未来信息的损耗函数。
信息处理装置100F根据上述配置和信息来训练模型。例如，信息处理装置100F训练图像事件转换I2E和事件图像转换E2I。首先，信息处理装置100F训练图像事件转换I2E。例如，信息处理装置100F固定事件图像转换E2I并且训练图像事件转换I2E。
然后，信息处理装置100F固定图像事件转换I2E并且训练事件图像转换E2I。在图22中，信息处理装置100F通过执行训练生成事件图像转换E2I，使得由事件图像转换E2I输出的未来信息DT1接近所实施的未来信息。例如，信息处理装置100F通过执行训练生成与事件图像转换E2I对应的模型，使得从事件图像转换E2I输出的图像I(t+nT)接近与实际时间点t+nT对应的图像IMt+nT。在这种情况下，信息处理装置100F将与时间点t对应的图像IMt和与时间点t对应的图像事件转换I2E的输出输入到事件图像转换E2I，并执行训练，使得由事件图像转换E2I输出的图像I(t+nT)接近与实际时间点t+nT对应的图像IMt+nT。
通过该操作，信息处理装置100F根据所获取的最新的帧图像和比该帧稍晚的事件信息，生成未来图像的事件图像变换E2I。如上所述，在训练时，信息处理装置100F在训练处理时将已知的未来图像用作地面真实图像，将所生成的图像与地面真实图像进行比较。
在下文中，将参考图23描述在信息处理装置100F中进行推断时的处理。要注意的是，在图23中描述的推断处理中不使用图23中的阴影配置和信息。例如，表明在图23所示的推断处理中不使用图像事件转换I2E。以这种方式，在推断时，信息处理装置100F通过使用事件图像转换E2I而不使用图像事件转换I2E来执行推断。
此外，在图23中描述的推断处理中，信息处理装置100F执行通过使用与图像组IG1中的时间点t对应的图像IMt生成(预测)与作为晚于时间点t的时间的时间点t+nT对应的图像的处理作为推断处理。即，信息处理装置100F基于原始帧图像和通过对事件执行信号处理(体元化等)而获得的信号，通过事件图像转换E2I执行推断。
例如，信息处理装置100F使用与时间点t对应的图像IMt和与时间点t对应的格式转换FC的输出来生成与未来时间点t+nT对应的未来信息(图像)。例如，信息处理装置100F将与时间点t对应的图像IMt和在时间点t之前事件数据E1已经输入到的格式转换FC的输出输入到事件图像转换E2I，并且使事件图像转换E2I输出图像。通过该操作，信息处理装置100F生成通过事件图像转换E2I输出的图像作为未来信息(图像)。应注意，上述处理仅是示例，并且信息处理装置100F可使用各种类型的信息生成未来信息。
[5-2.第九实施例]
接下来，将参考图24和图25描述根据第九实施例的信息处理装置的配置和处理的概要。图24和图25是示出根据本公开的第九实施例的信息处理装置的配置示例的示意图。应注意，与上述那些相似的点通过相似的参考标号表示，并且将适当地省略其描述。
在下文中，将参考图24描述信息处理装置100G的配置、用于处理的信息等，并且然后将描述学习时的处理。根据第九实施例的信息处理装置100G与根据第八实施例的信息处理装置100F的不同之处在于具有与流程相关的配置。因此，以下将主要描述与流程相关的点，并且将适当地省略与信息处理装置100F的那些相似的点的描述。
此外，图24中表示为“Event2Flow”的事件流转换E2F是输出指示与指示输入事件的信息相对应的流的信息(信号)的模型。事件流转换E2F使用指示事件的信息作为输入并且输出与该输入对应的流的信息。图24中由“Flow”表示的流数据F1表示通过事件流转换E2F生成的流数据。事件流转换E2F使用指示事件的信息作为输入并且输出与该输入对应的流数据F1。
此外，图24中描述为“Image2Flow”的图像流转换I2F是输出指示与输入图像对应的流的信息(信号)的模型。图像流转换I2F使用图像作为输入并且输出与该输入对应的流的信息。图24中由“Flow”表示的流数据F2指示通过图像流转换I2F生成的流数据。图像流转换I2F使用图像作为输入并且输出与该输入对应的流数据F2。
例如，可以采用任何方法(诸如下面描述的标准方法)来实现通过图像流转换I2F对流的转换处理。例如，由图像流转换I2F转换为流的转换处理可以使用与光流相关的方法。例如，由图像流转换I2F转换为流的转换处理可以使用与Flownet 2.0相关的方法。
例如，在以下文件中公开Flownet 2.0。注意，Flowlet 2.0仅是一个示例，并且不限于Flowlet 2.0，只要是诸如Lucas-Kanade法的方法就能够作为图像流转换I2F的流的转换处理。
·FlowNet 2.0：Evolution of Optical Flow Estimation with DeepNetworks,Eddy Ilg et al.<https://arxiv.org/pdf/1612.01925>
此外，图24中表示为“Flow2Image”的流图像转换F2I是从图像指示流的信息输出未来信息(图像)和的模型。例如，流图像转换F2I输出指示像素值已经移动到哪里的信息。流图像转换F2I使用图像和指示流的信息作为输入，并输出与该输入对应的未来信息(图像)。
此外，图24中表示为“图像混合(ImageBinder)”的图像混合器IB是使用事件图像转换E2I的输出和流图像转换F2I的输出生成未来信息(图像)的模型。图像混合器IB使用由事件图像转换E2I生成的图像(在下文中，也称为“第一图像”)和由流图像转换F2I生成的图像(在下文中，也称为“第二图像”)作为输入，并基于该输入输出未来信息(图像)。在图24中，如由未来信息DT2所示，图像混合器IB使用从事件图像转换E2I和流图像转换F2I中的每一个输出的两个图像(图像候选)作为输入，并输出与该输入对应的未来信息(图像)。图24的未来信息DT2对应于上述组合数据。
例如，图像混合器IB使用事件图像转换E2I的第一图像和流图像转换F2I的第二图像作为输入，并且生成与对应于输入的未来时间点对应的图像(也称为“第三图像”)。例如，图像混合器IB可以通过计算事件图像转换E2I的第一图像和流图像转换F2I的第二图像的加权平均值来生成第三图像。例如，图像混合器IB可以通过使用对应于事件图像转换E2I的第一图像的第一加权因子和对应于流图像转换F2I的第二图像的第二加权因子计算第一图像和第二图像的加权平均值来生成第三图像。
注意，上述处理仅是示例，图像混合器IB可通过各种方法生成第三图像。例如，图像混合器IB可通过从第一图像和第二图像中选择将被用作未来信息的图像来生成第三图像。例如，在从第一图像和第二图像中选择第二图像作为未来信息的情况下，图像混合器IB使用第二图像作为第三图像。例如，与区域AR1对应的配置与上述计算部和数据组合部对应。关于区域AR1的配置，只要是SoftMAX函数所选择的配置即可，这一点将在下面描述。
此外，在训练处理时，使用在图24中表示为“损耗”的损耗函数L3。例如，损耗函数L3用于训练，使得事件流转换E2F的输出和图像流转换I2F的输出彼此接近。即，损耗函数L3用于训练，使得事件流转换E2F的流数据F1和图像流转换I2F的流数据F2彼此接近。
信息处理装置100G通过上述配置和信息训练模型。例如，信息处理装置100G训练与图像事件转换I2E和区域AR1对应的配置。在训练图像事件变换I2E之后，信息处理装置100G训练与区域AR1对应的结构。例如，在没有用于图像事件转换I2E的测试图像的情况下，信息处理装置100G可以提供自监督学习。
这里，在训练时，期望在应用下面将要描述的轻加权配置之前在一定程度上对事件信息进行分帧。存在将事件信息帧化的各种方法，但是期望使用能够使信息损耗最小化的技术，诸如体元网格和事件尖峰张量(Event Spike Tensor)。
例如在以下文献中公开体元网格。例如，体元网格在帧之间划分事件的数量，并且将每个事件的划分事件以帧形式相加。
·Unsupervised Event-based Learning of Optical Flow,Depth,andEgomotion,Alex Zihao Zhu et al.<https://arxiv.org/abs/1812.08156>
此外，例如，在以下文献中公开了事件尖峰张量。例如，事件尖峰张量在帧之间划分时间，并且针对每个极性将该时间内输入的事件以帧形式相加。
·End-to-End Learning of Representations for Asynchronous Event-BasedData,Daniel Gehrig et al.<https://arxiv.org/abs/1904.08245>
此外，与基于帧的传感器的情况相比，使用事件传感器作为输入的对象识别图像和训练数据在体积上绝对更小，导致对甚至能够用少量图像执行训练的机制的需求。因此，信息处理装置100G引入自监督学习机制。
例如，信息处理装置100G建立从基于帧获取的信号中生成事件信号的网络，并且生成中间图像，以使得能够生成等同于体元网格的表示。在这种情况下，信息处理装置100G定义损耗函数L1，使得对应于事件的生成的信号与实际格式转换之后的事件的信号收敛，并且训练图像事件转换I2E的网络。
此外，在学习期间的单位时间T可以是相对于实时的T相对较大的值。例如，学习期间的16帧可以被视为在执行时的1帧的图像，并且可以被定义为等同于具有实时相等的速度的帧信号。在这种情况下，帧图像是通过将16帧的信号相加而获得的信号。例如，当通过将16帧视为1帧来执行学习时，在以1帧为单位的时间中产生的差值本身可被容易地计算为在体元网格或事件尖峰张量中1帧的1/16中生成的事件。这导致在学习期间的轻量级网络，使得可以执行例如具有轻量级误差函数(L1范数或L2范数)的学习。此外，在一些情况下，在学习期间不必指定误差函数。
然后，信息处理装置100G生成对应于光流的事件流转换E2F以生成未来图像。例如，光流用于当具有特定亮度的像素值移动到另一像素时估计移动目的地。信息处理装置100G根据事件生成用于未来预测的光流并且根据帧差异学习教师(数据)。
在光流中图像的数量较少的情况下，信息处理装置100G通过自监督学习来训练网络。例如，信息处理装置100G根据帧信号之间的差异生成光流的信号(例如，FlowNet 2.0等)。信息处理装置100G比较所生成的流信号(经由图像流转换I2F)与通过经受格式转换的事件信号(例如，以体元网格的形式)所生成的流信号(经由事件流转换E2F)，从而训练流生成网络。在这种情况下，生成损耗函数L3，使得事件流转换E2F与图像流转换I2F相同。注意，图像流转换I2F不需要训练，并且被定义为转换函数。
然后，信息处理装置100G生成图像。例如，信息处理装置100G具体地从流中生成图像(像素值的目的地)并且从事件中生成图像(像素值的变化)生成至少两个候选图像。如上所述，信息处理装置100G执行从至少两个或多个图像中选择或者混合两个图像中取两者中最好的图像的处理。
通过从单个像素自身的亮度变化信息计算像素的亮度值来生成第一图像候选(第一图像)。例如，信息处理装置100G使用指示亮度变化信息的第一图像，以用于从不具有关于流源的信息的视角之外的突然的信号变化。此外，通过基于最近的帧图像和流信号估计最近的帧图像中的特定像素已移动到另一像素来生成第二图像候选(第二图像)。通过流图像转换F2I生成第二图像。
第一图像和第二图像由图像混合器IB调整，并且若干图像被输出为未来图像。此时，信息处理装置100G执行训练处理，使得网络通过执行将提前n帧的信号定义为真值的训练来生成未来图像。例如，通过直至假设系统的图像显示的延迟量来确定n帧之前的信号。在这种情况下，在以16倍的速度(例如，将16帧限定为相当于1帧)在训练中使用提前n帧的情况下，利用提前16n帧作为真实值进行调整。以这种方式，可以基于延迟量等来确定参数n的值。
如上所述，由系统确定参数n，但是在很远的将来(即，n较大)，存在由于计算量的增加或者误差的增大而不能正常生成帧图像的可能性。因此，当计算量增加一定程度或更多时，信息处理装置100G可以执行诸如生成诸如Busy标记的内部状态变量的动作并且可以在中间中断计算。以这种方式，在中间中断计算的情况下，信息处理装置100G可执行诸如用不太可能引起不舒服感觉的图像(例如，灰色模糊图像)等替换图像的处理。以这种方式，可允许在超过一定的内部计算时间时提供放弃(中断处理)的确定路径。
在下文中，将参考图25描述在信息处理装置100G中推断时的处理。注意，在图25中描述的推断处理中不使用图25中的阴影配置和信息。例如，表明在图25所示的推断处理中不使用图像事件转换I2E。以这种方式，信息处理装置100G在推断期间不使用图像事件转换I2E来执行推断。
此外，在图25中描述的推断处理中，信息处理装置100G通过使用与图像组IG1中的时间点t对应的图像IMt执行生成(预测)与作为晚于时间点t的时间的时间点t+nT对应的图像的处理作为推断处理。即，信息处理装置100G在推断时基于1帧图像和事件组，生成n帧之后的未来图像。
例如，信息处理装置100G通过使用与时间点t对应的图像IMt和与时间点t对应的格式转换FC的输出来生成与未来时间点t+nT对应的未来信息(图像)。与时间点t对应的图像IMt连同在时间点t之前已经输入事件数据E1的格式转换FC的输出一起被输入到事件图像转换E2I。在时间点t之前已经输入事件数据E1的格式转换FC的输出被输入到事件流转换E2F。与时间点t对应的图像IMt和事件流转换E2F的输出被输入到流图像转换F2I。作为事件图像转换E2I的输出的第一图像和作为流图像转换F2I的输出的第二图像被输入到图像混合器IB。利用该配置，信息处理装置100G生成通过图像混合器IB输出的图像作为未来信息(图像)。应注意，上述处理仅是示例，并且信息处理装置100G可使用各种类型的信息生成未来信息。
如上所述，信息处理装置100G在推断时使用通过训练处理训练的网络，根据一个最新的帧图像和事件信息生成一个或多个未来预测图像。注意，通过系统的延迟量来确定最终选择并生成的图像。例如，在系统包括多个显示装置的情况下，信息处理装置100G可将最佳生成信号传输给每个显示装置。
此外，在推断时，网络在训练中是固定的，因此，在推断时不必使用仅在训练时使用的一些网络。例如，虽然图像事件转换器I2E从帧信息生成事件信号，但直接将事件信号传递至后续级就足够了，并且因此体元网格的输出可直接输入至事件流转换E2F。此外，可以在预先训练的网络中生成流并且将其与帧信号组合以用于生成流图像转换F2I。此外，事件图像转换E2I也可由帧信号和事件信号生成。通过这些操作，根据系统最终产生最佳图像。例如，在训练时在1/16的时间轴上对整个系统(系统)进行训练的情况下，可通过将帧的每1/16时间生成的事件帧原样地用作体元网格来执行体元网格的生成。
注意，在最新信息是推断时每个图像的当前状态的情况下，事件信息可以对应于当前状态。在这种情况下，由于事件较新，因此最新帧的帧信息可被视为与过去相对应。此外，未来对应于要生成的图像。
[5-2-1.配置的小型化的示例]
这里，将描述配置的小型化的示例。例如，也可以通过某种方法使与图24和图25所示的区域AR1对应的配置小型化。例如，为了最终使整个网络轻量化，也可以使与区域AR1对应的配置(网络)一体化。在这种情况下，例如也可以通过蒸馏使与区域AR1对应的配置小型化。此外，例如，为了提高计算性能，也可以通过形成CiM(Compute In Memory)电路配置来使与区域AR1对应的配置小型化。通过该操作，能够形成与区域AR1对应的配置的轻加权电路。
此外，为了实现上述轻加权电路，可以将事件信号直接输入到网络，并且可以在网络内部同时执行帧化。在这种情况下，例如，通过将尖峰神经网络(SNN)电路应用于靠近网络的输入的主要部分(诸如紧接输入之后)，可以实现进一步的轻加权电路。
[5-3.第十实施例]
注意，上述各配置仅是示例，并且可以通过使用生成对抗网络(GAN)执行训练来提高精度。在这方面，将参考图26描述根据第十实施例的信息处理装置的配置和处理的概要。图26是描述根据本公开的第十实施例的信息处理装置的配置示例的示图。应注意，与上述那些相似的点通过相似的参考标号表示，并且将适当地省略其描述。
根据第十实施例的信息处理装置100H的不同之处在于根据第九实施例的信息处理装置100G中的损耗函数L2具有与GAN相关的配置。因此，下面主要对与GAN相关的配置进行说明，适当地省略与信息处理装置100G相同的说明。
如图26中所示，信息处理装置100H包括图26中表示为“Lcycle”的损耗函数Lc和图26中表示为“Ladversial”的损耗函数La以及图26中表示为“判别器(Discriminator)”的判别器DS来代替损耗函数L2。例如，损耗函数Lc是使用将箭头连接至图26中表示为“Lcycle”的矩形的箭头的箭头跟所连接的信息作为输入的函数。损耗函数Lc是对应于包括在函数组MF中的公式(1)至(3)等的损耗函数。应注意，图26中所示的函数组MF可以是损耗函数Lc的一部分。例如，损耗函数Lc可以是使用除了包括在函数组MF中的公式(1)至公式(3)之外的公式的函数。例如，信息处理装置100H进行训练，使得损耗函数La及损耗函数Lc通过判别器DS比较图像与地面真实图像而收敛。
在信息处理装置100H中，五个配置，即，图像事件转换I2E、图像流转换I2F、事件图像转换E2I、事件流转换E2F和流图像转换F2I，被设置(使用)为生成器(生成装置)。另外，信息处理装置100H使用将该图像与实际的地面真实图像进行比较的判别器DS来计算损耗函数La。
为了收敛学习，信息处理装置100H使用在t+nT的原始图像(图26中的I1(x))与从事件图像转换E2I和流图像转换F2I(图26中的I1(x；G,I0))之间的差异(在下文中，也被称为第一差异)。此外，为了收敛训练，信息处理装置100H使用t+nT时的原始图像(图26中的I1(x)与使用事件流转换E2F生成的图像(图26中的I0(x+F(x；G))(在下文中，该差异也将称为“第二差异”)。以这种方式，信息处理装置100H使用第一差异和第二差异这两个差异信息。例如，信息处理装置100H根据第一差异和第二差异这两个差异的损耗的总和来计算损耗函数Lc，并将所获得的损耗函数Lc作为训练参数。
以这种方式，在信息处理装置100H中，判别器DS将生成的图像与前n帧的对应图像进行比较，判别有无不适感。在这种情况下，基于损耗函数La确定损耗函数。此外，在信息处理装置100H中，将生成为前面第n帧的图像的图像与在输入处假设为相等的前面第n帧的当前帧的信号进行比较，并且通过损耗函数Lc确认，以便与前面第n帧的图像进行比较。
[5-4.第十一实施例]
注意，在上述配置中，允许推断时仅提取存在变化的部分(已经发生事件的区域)，并且允许基于所提取的信息来执行推断。在这点上，将参考图27描述根据第十一实施例的信息处理装置的配置和处理的概要。图27是描述根据本公开的第十一实施例的信息处理装置的配置示例的示图。应注意，与上述那些相似的点通过相似的参考标号表示，并且将适当地省略其描述。注意，图27中的阴影线的配置和信息不用于图27中描绘的推断处理中。例如，表明在图27所示的推断处理中不使用图像事件转换I2E。以这种方式，信息处理装置100G在推断期间不使用图像事件转换I2E来执行推断。
在下文中，将描述信息处理装置100G的配置、用于处理的信息等，并且然后将描述学习时的处理。根据第十一实施例的信息处理装置1001与根据第九实施例的信息处理装置100G的不同之处在于具有提取发生事件的区域的信息的配置。因此，下面主要描述与流程相关的点，并且适当地省略与信息处理装置100G的那些相似的点的描述。
如图27中所示，信息处理装置1001包括在图27中表示为“点云分割或ROI”的区域提取SG以及在图27中表示为“裁剪(Crop)”的裁剪CR。例如，区域提取SG使用与受关注区域(ROI)等相关的技术来提取发生事件的区域。例如，区域提取SG输出指示在图像中发生了事件的区域的信息。裁剪CR使用图像和区域提取SG的输出作为输入，并且输出通过裁剪输入图像中的由区域提取SG的输出指示的区域而获得的图像(裁剪图像)。然后，信息处理装置1001使用通过裁剪CR输出的裁剪图像生成未来信息。通过该操作，信息处理装置1001通过使区域变窄可以减小计算量。
此外，在图27中所示的推断处理中，信息处理装置1001通过使用与图像组IG1中的时间点t对应的图像IMt执行生成(预测)与作为晚于时间点t的时间的时间点t+nT对应的图像的处理作为推断处理。即，信息处理装置1001在推断期间基于一帧图像和事件组生成n帧之后的未来图像。
例如，如在未来信息DT3中所指示的，信息处理装置1001通过使用与时间点t对应的图像IMt和与时间点t对应的格式转换FC的输出来生成与未来时间点t+nT对应的未来信息(图像)。与时间点t对应的图像IMt连同在时间点t之前已经输入事件数据E1的区域提取SG的输出一起被输入到裁剪CR。来自裁剪CR的输出与已被输入区域提取SG的输出的格式转换FC的输出一起被输入到事件图像转换E2I。被输入了区域提取SG的输出的格式转换FC的输出被输入到事件流转换E2F。来自裁剪CR的输出和事件流转换E2F的输出被输入到流图像转换F2I。作为事件图像转换E2I的输出的第一图像和作为流图像转换F2I的输出的第二图像被输入到图像混合器IB。利用该配置，信息处理装置1001生成由图像混合器IB输出的图像作为未来信息(图像)。应注意，上述处理仅是示例，并且信息处理装置1001可使用各种类型的信息生成未来信息。
在上述示例中，假设当生成未来图像时，仅视角的一部分改变。在这种情况下，由于计算区域的目标缩小到该区域的一部分，所以可以通过预先指定(提取)要传递到生成电路的区域来减小计算量。例如，在信息处理装置1001中，在使用从事件信号生成的作为区域信息的具有高活跃度的区域作为受关注区域(ROI)执行计算之前，划分区域。例如，ROI可用以识别物体的区域以便实现动态跟踪。
[5-5.第十二实施例]
注意，上述各配置仅是示例，并且可以在推断时更新网络。在这点上，将参考图28描述根据第十二实施例的信息处理装置的配置和处理的概要。图28是描述根据本公开的第十二实施例的信息处理装置的配置示例的示图。应注意，与上述那些相似的点通过相似的参考标号表示，并且将适当地省略其描述。
图28中的图像组IG2包括多个图像，诸如，与时间点t-(k+2)T对应的图像IMt-(k+2)T、与时间点t-(k+1)T对应的图像IMt-(k+1)T、与时间点t-kT对应的图像IMt-kT以及与时间点t对应的图像IMt。要注意的是，在图28中所述“I(t)”对应于图像IMt，并且“I(t-k*T)”对应于图像IMt-kT。
在图28中，如由未来信息DT4所指示的，在已输入对应于时间点t-kT的图像IMt-kT和对应于图像IMt-kT的事件信息的情况下，信息处理装置100J输出对应于时间点t的图像I(t)作为未来信息。然后，信息处理装置100J使用作为生成的未来信息DT4的图像I(t)和对应于图像组IG2中的时间点t的图像IMt更新网络。信息处理装置100J执行训练处理，以使得作为生成的未来信息DT4的图像I(t)接近与时间点t对应的图像IMt。例如，信息处理装置100J更新诸如事件图像转换E2I、流图像转换F2I和图像混合器IB的参数，使得作为生成的未来信息DT4的图像I(t)接近与时间点t对应的图像IMt。
以这种方式，信息处理装置100J例如使用在推断时使用的轻加权网络，并且通过甚至在推断时以特定频率将图像与实际地面真实图像进行比较来更新网络。注意，期望仅在装置的使用开始时将概念图像(RGB图像)输入到计算装置，并且通过基于事件数据的未来预测来处理剩余的未来预测。例如，信息处理装置100J可以在某个定时将在某个时间点预测的生成的图像与对应于预测的生成的图像的帧图像进行比较，并且可以更新用于预测的系数(参数)。在这种情况下，信息处理装置100J更新事件图像转换E2I、流图像转换F2I等。
[5-6.第十三实施例]
注意，也可以在基于在第十一示例中提取的信息的推断时执行上述推断时的网络更新。在这点上，将参考图29描述根据第十三实施例的信息处理装置的配置和处理的概要。图29是描述根据本公开第十三实施例的信息处理装置的配置示例的示图。应注意，与上述那些相似的点通过相似的参考标号表示，并且将适当地省略其描述。
例如，根据第十三实施例的信息处理装置100K是根据第十一实施例的信息处理装置1001和根据第十二实施例的信息处理装置100J的组合。换句话说，信息处理装置100K仅使用发生事件的区域的信息，对根据第十一示例的信息处理装置1001应用根据第十二示例的信息处理装置100Ji阿叔的推断时的网络更新。因此，以下将详细描述信息处理装置100K的配置和处理。
[5-7.第十四实施例]
注意，信息处理装置可使用执行未来预测的至少两个或多个配置(系统)。例如，信息处理装置可执行未来预测的两个未来预测，即，针对人(用户)的左眼(也被简称为“左眼”)的未来预测和针对人(用户)的右眼(也被简称为“右眼”)的未来预测，并且可计算其视差以执行距离测量。在这点上，将参考图30描述根据第十四实施例的信息处理装置的配置和处理的概要。图30是描述根据本公开的第十四实施例的信息处理装置的配置示例的示图。应注意，与上述那些相似的点通过相似的参考标号表示，并且将适当地省略其描述。
根据第十四实施例的信息处理装置100L具有第一组配置G1和第二组配置G2。例如，第一组配置G1用于生成作为右眼的未来信息的未来信息DT61(也称为“第一未来信息”)。在图30中，第一组配置G1包括事件图像转换E2I1、流图像转换F2I1和图像混合器IB1。
事件图像转换E2I1具有与图24中的事件图像转换E2I的功能相似的功能。流动图像转换F2I1具有与图24中的流图像转换F2I的功能相似的功能。图像混合器IB1具有与图24中的图像混合器IB的功能相似的功能。由第一组配置G1执行的处理与由图24中的事件图像转换E2I、流图像转换F2I和图像混合器IB执行的处理相似，不同之处在于为右眼生成未来信息，并且因此省略详细描述。
此外，例如，在信息处理装置100L中，第二组配置G2用于生成作为左眼的未来信息的未来信息DT62(也称为“第二未来信息”)。在图30中，第二组配置G2包括事件图像转换E2I2、流图像转换F2I2和图像混合器IB2。
事件图像转换E2I2具有与图24中的事件图像转换E2I的功能相似的功能。流动图像转换F2I2具有与图24中的流图像转换F2I的功能相似的功能。图像混合器IB2具有与图24中的图像混合器IB的功能类似的功能。由第二组配置G2执行的处理与由图24中的事件图像转换E2I、流图像转换F2I和图像混合器IB执行的处理相似，除了为左眼生成未来信息之外，并且因此省略详细描述。
此外，信息处理装置100L使用通过处理第一组配置G1生成的第一未来信息和通过处理第二组配置G2生成的第二未来信息来生成未来视差信息(也称为“第三未来信息”)。在图30中，信息处理装置100L使用由第一组配置G1生成的右眼的未来信息DT61和由第二组配置G2的处理生成的左眼的未来信息DT62来生成作为第三未来信息的视差信息DT63。例如，通过计算未来信息DT61与未来信息DT62之间的差值，信息处理装置100L生成视差信息DT63作为未来视差信息。
信息处理装置100L使用多个(图30中的两个)网络中的视差生成包括距离测量信息的信息。信息处理装置100L通过组合生成未来信息的两条或多条路径生成视差信息。例如，通过计算两者(左和右)的视差信息，信息处理装置100L生成用于执行三维距离测量的视差信息。通过该操作，信息处理装置100L可生成假设显示在头戴式显示器上的左图像信息和右图像信息。应注意，在头戴式显示器等上显示信息时，可执行左和右同步，或者可在内部处理阶段(诸如在信息处理装置100L的计算时)执行左和右同步。
应注意，本技术还可具有以下配置。
(1)
一种信息处理装置，包括：
获取单元，获取作为与关于目标区域的信息中的一部分信息的第一信息；以及
生成单元，基于由获取单元获取的第一信息生成与第二时间相对应的第二信息，该第二时间是晚于第一时间的时间，该第一时间是与第一信息相对应的时间。
(2)
根据(1)的信息处理装置，
其中，获取装置获取作为关于由传感器检测的目标区域的信息中的一部分信息的第一信息；以及
生成装置基于第一信息生成预测为在第二时间由传感器检测的第二信息。
(3)
根据(1)或(2)的信息处理装置，
其中，获取装置获取第一信息，该第一信息是关于目标区域的信息中的由生成装置执行的处理所需的部分的信息。
(4)
根据(1)至(3)中任一项的信息处理装置，
其中，获取装置获取第一信息，该第一信息是关于目标区域的信息中在第一时间具有变化的部分的信息。
(5)
根据(1)至(4)中任一项的信息处理装置，
其中，获取装置获取相对于关于目标区域的信息稀疏的第一信息。
(6)
根据(1)至(5)中任一项的信息处理装置，
其中，获取装置获取与离散地位于目标区域中的多个部分相对应的第一信息。
(7)
根据(5)的信息处理装置，
其中，获取装置获取与目标区域中预定比例或更小的部分相对应的第一信息。
(8)
根据(1)至(7)中任一项的信息处理装置，
其中，生成装置生成作为与第二时间相对应的编码数据的第二信息。
(9)
根据(1)至(8)中任一项的信息处理装置，
其中，生成装置基于第一信息以及与作为比第一时间早的时间的第三时间相对应的第三信息来生成第二信息。
(10)
根据(9)的信息处理装置，
其中，生成装置通过使用在生成第二信息之前生成的第三信息来生成第二信息。
(11)
根据(9)或(10)的信息处理装置，
其中，生成装置通过使用通过利用第三信息更新的学习模型来生成第二信息。
(12)
根据(11)的信息处理装置，
其中，生成装置通过使用基于第一信息更新的学习模型来生成第二信息。
(13)
根据(11)或(12)的信息处理装置，
其中，生成装置通过使用利用第一信息更新的学习模型来生成第二信息。
(14)
根据(1)至(13)中任一项的信息处理装置，进一步包括：组合装置，将第二信息与其他信息组合以生成用于输出的组合信息。
(15)
根据(14)的信息处理装置，
其中，生成装置使用第一信息生成用于与第二信息组合的第四信息，以及
组合装置将第二信息与第四信息组合以生成组合信息。
(16)
根据(15)的信息处理装置，
其中，生成装置生成作为与第一时间相对应的编码数据的第四信息。
(17)
根据(1)至(16)中任一项的信息处理装置，
其中，获取装置获取与作为图像的关于目标区域的信息的一部分相对应的第一信息，以及
生成装置基于第一信息生成与第二时间的图像相对应的第二信息。
(18)
根据(17)的信息处理装置，
其中，获取装置获取与图像中具有变化的像素对应的第一信息，以及
生成装置基于第一信息生成与第二时间的图像相对应的第二信息。
(19)
一种信息处理方法，包括：
获取第一信息，该第一信息是关于目标区域的信息中的一部分信息；以及
基于所获取的第一信息生成与第二时间相对应的第二信息，该第二时间是晚于第一时间的时间，该第一时间是与第一信息相对应的时间。
(20)
一种使处理被执行的信息处理程序，该处理包括：
获取第一信息，该第一信息是关于目标区域的信息中的一部分信息；以及
基于所获取的第一信息生成与第二时间相对应的第二信息，该第二时间是晚于第一时间的时间，该第一时间是与第一信息相对应的时间。
参考标记列表
100 信息处理装置
101 输入装置
110 计算装置
111 获取装置
102 未来信息生成装置
103 过去信息生成装置
104 信号输出装置。

Claims (20)

1.一种信息处理装置，包括：
获取装置，获取作为关于目标区域的信息中的一部分信息的第一信息；以及
生成装置，基于由所述获取装置获取的所述第一信息生成与第二时间相对应的第二信息，所述第二时间是晚于第一时间的时间，所述第一时间是与所述第一信息相对应的时间。
2.根据权利要求1所述的信息处理装置，
其中，所述获取装置获取作为关于由传感器检测的所述目标区域的所述信息中的一部分信息的所述第一信息；以及
所述生成装置基于所述第一信息生成预测为在所述第二时间由所述传感器检测的所述第二信息。
3.根据权利要求1所述的信息处理装置，
其中，所述获取装置获取所述第一信息，所述第一信息是关于所述目标区域的所述信息中的由所述生成装置执行的处理所需的部分的信息。
4.根据权利要求1所述的信息处理装置，
其中，所述获取装置获取所述第一信息，所述第一信息是关于所述目标区域的所述信息中在所述第一时间具有变化的部分的信息。
5.根据权利要求1所述的信息处理装置，
其中，所述获取装置获取相对于关于所述目标区域的所述信息稀疏的所述第一信息。
6.根据权利要求5所述的信息处理装置，
其中，所述获取装置获取与离散地位于所述目标区域中的多个部分相对应的所述第一信息。
7.根据权利要求5所述的信息处理装置，
其中，所述获取装置获取与所述目标区域中预定比例或更小的部分相对应的所述第一信息。
8.根据权利要求1所述的信息处理装置，
其中，所述生成装置生成作为与所述第二时间相对应的编码数据的所述第二信息。
9.根据权利要求1所述的信息处理装置，
其中，所述生成装置基于所述第一信息以及与作为比所述第一时间早的时间的第三时间相对应的第三信息来生成所述第二信息。
10.根据权利要求9所述的信息处理装置，
其中，所述生成装置通过使用在生成所述第二信息之前生成的所述第三信息来生成所述第二信息。
11.根据权利要求9所述的信息处理装置，
其中，所述生成装置通过使用通过利用所述第三信息更新的学习模型来生成所述第二信息。
12.根据权利要求11所述的信息处理装置，
其中，所述生成装置通过使用基于所述第一信息更新的所述学习模型来生成所述第二信息。
13.根据权利要求11所述的信息处理装置，
其中，所述生成装置通过使用利用所述第一信息更新的所述学习模型来生成所述第二信息。
14.根据权利要求1所述的信息处理装置，进一步包括：组合装置，将所述第二信息与其他信息组合以生成用于输出的组合信息。
15.根据权利要求14所述的信息处理装置，
其中，所述生成装置使用所述第一信息生成用于与所述第二信息组合的第四信息，以及
所述组合装置将所述第二信息与所述第四信息组合以生成所述组合信息。
16.根据权利要求15所述的信息处理装置，
其中，所述生成装置生成作为与所述第一时间相对应的编码数据的所述第四信息。
17.根据权利要求1所述的信息处理装置，
其中，所述获取装置获取与作为图像的关于所述目标区域的所述信息的一部分相对应的所述第一信息，以及
所述生成装置基于所述第一信息生成与所述第二时间的图像相对应的所述第二信息。
18.根据权利要求17所述的信息处理装置，
其中，所述获取装置获取与所述图像中具有变化的像素相对应的所述第一信息，以及
所述生成装置基于所述第一信息生成与所述第二时间的图像相对应的所述第二信息。
19.一种信息处理方法，包括：
获取第一信息，所述第一信息是关于目标区域的信息中的一部分信息；以及
基于获取的所述第一信息生成与第二时间相对应的第二信息，所述第二时间是晚于第一时间的时间，所述第一时间是与所述第一信息相对应的时间。
20.一种使处理被执行的信息处理程序，所述处理包括：
获取第一信息，所述第一信息是关于目标区域的信息中的一部分信息；以及
基于获取的所述第一信息生成与第二时间相对应的第二信息，所述第二时间是晚于第一时间的时间，所述第一时间是与所述第一信息相对应的时间。
CN202280040176.2A 2021-06-11 2022-03-18 信息处理装置、信息处理方法和信息处理程序 Pending CN117426084A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-098261 2021-06-11
JP2021098261 2021-06-11
PCT/JP2022/012525 WO2022259688A1 (ja) 2021-06-11 2022-03-18 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN117426084A true CN117426084A (zh) 2024-01-19

Family

ID=84425160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040176.2A Pending CN117426084A (zh) 2021-06-11 2022-03-18 信息处理装置、信息处理方法和信息处理程序

Country Status (5)

Country Link
EP (1) EP4354852A1 (zh)
JP (1) JPWO2022259688A1 (zh)
KR (1) KR20240019094A (zh)
CN (1) CN117426084A (zh)
WO (1) WO2022259688A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09307883A (ja) * 1996-05-10 1997-11-28 Nippon Telegr & Teleph Corp <Ntt> 被写体追跡方法及び装置並びにそれを用いた画像表示装置
JP2008109336A (ja) * 2006-10-25 2008-05-08 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
JP2015100075A (ja) * 2013-11-20 2015-05-28 株式会社東芝 画像処理装置、システムおよび方法
JP7418075B2 (ja) 2018-09-18 2024-01-19 キヤノン株式会社 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム
JP7424375B2 (ja) * 2019-05-21 2024-01-30 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
WO2022259688A1 (ja) 2022-12-15
KR20240019094A (ko) 2024-02-14
EP4354852A1 (en) 2024-04-17
JPWO2022259688A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
US11915145B2 (en) Leveraging multidimensional sensor data for computationally efficient object detection for autonomous machine applications
US11604967B2 (en) Stereo depth estimation using deep neural networks
US11789445B2 (en) Remote control system for training deep neural networks in autonomous machine applications
US11966838B2 (en) Behavior-guided path planning in autonomous machine applications
US20210365750A1 (en) Systems and methods for estimating future paths
US11361449B2 (en) Neural network for object detection and tracking
US11501525B2 (en) Systems and methods for panoptic image segmentation
US11465633B2 (en) Method and system for generating predicted occupancy grid maps
JP5782088B2 (ja) 歪みのあるカメラ画像を補正するシステム及び方法
CN111627054B (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
WO2019230339A1 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
Yu et al. Baidu driving dataset and end-to-end reactive control model
US10776642B2 (en) Sampling training data for in-cabin human detection from raw video
CN111665836A (zh) 车辆的自适应传感器系统及其操作方法
US20220222936A1 (en) Outside environment recognition device
JP7363118B2 (ja) 外部環境認識装置
EP4354852A1 (en) Information processing device, information processing method, and information processing program
EP4322516A1 (en) Information processing device and information processing method
JP2020204821A (ja) 外部環境認識装置
WO2023085017A1 (ja) 学習方法、学習プログラム、情報処理装置、情報処理方法、および情報処理プログラム
JP2021123232A (ja) 車両用制御装置
Gonzalez et al. Transitioning control and sensing technologies from fully-autonomous driving to driver assistance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination