CN110520869B - 信号处理电路和方法、从信号提取感知不变的装置和方法 - Google Patents

信号处理电路和方法、从信号提取感知不变的装置和方法 Download PDF

Info

Publication number
CN110520869B
CN110520869B CN201880025028.7A CN201880025028A CN110520869B CN 110520869 B CN110520869 B CN 110520869B CN 201880025028 A CN201880025028 A CN 201880025028A CN 110520869 B CN110520869 B CN 110520869B
Authority
CN
China
Prior art keywords
signal
unit
value
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880025028.7A
Other languages
English (en)
Other versions
CN110520869A (zh
Inventor
P·皮里姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Another Brain
Original Assignee
Another Brain
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Another Brain filed Critical Another Brain
Publication of CN110520869A publication Critical patent/CN110520869A/zh
Application granted granted Critical
Publication of CN110520869B publication Critical patent/CN110520869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种能够提供事件(90)的动态感知不变性以期从其提取统一语义表示的自动化方法和装置。事件由发送参考(x,y)的信号(HD)的数据换能器(130)感知，该信号通过提供由w配置并按照系数k抽取(300)的高斯滤波(200)的单元(Dec)转换为参考(i,j)的信号(MAP1)，并且通过单元(ROI)转换为参考(X,Y)的表示不变事件的信号(MAP2)。单元(71’)将信号(MAP1)转换为取向(Im Bo)和曲率(Im Cb)边缘信号，其被引入动态吸引子(80_0)，该动态吸引子(80_0)在统计上将该信息转换为平均曲率cb0和取向bo0、重心i0,j0以及点群大小ap0,bp0，以供应不变性计算单元(Inv)，该不变性计算单元(Inv)供应信号(MAP2)的参数w、k和地址(X,Y)。本发明作为电子可集成存储统一物适用于神经科学领域。

Description

信号处理电路和方法、从信号提取感知不变的装置和方法
技术领域
本发明涉及一种自动化装置和方法，其能够动态地确保时空事件的感知不变性以期从其提取统一语义表示并将它们与特定标签关联存储在存储器中。还涉及一种用于训练神经元集群的网络的简化的记忆存储系统。
本发明使得可确保事件的空间、其上下文表示及其特征表示之间的双射关系。
本发明特别适用于硅上实现的神经元集群的处理的简化，以用于分析各种信号，包括多维信号，例如图像、声音或其它独立或同时感知的模态的感知的语义表示。
背景技术
人类记忆从根本上是关联的：当我们能够将新信息与已经获取并牢固扎根于我们的记忆中的知识联系起来时，我们会更好地记住。此外，对我们的意义越大，此联系将越有效。因此，不是简单地回忆起固定的印象，目前认为记忆是源自对立神经元通路的连续改变以及大脑中信息的并行处理的再范畴化的连续过程。感知不变性简化了存储在记忆中的范畴化，对其写入单个表示。事件、场景或对象的回忆利用逆不变性函数，代替存储在记忆中上下文中的信息。
此技术赶超了进化花费数千年所实现的。以下三项专利是现有技术的代表：
·2015年5月5日公布的题为“invariant pattern recognition”的专利US2005097068描述了用于训练有效分类器的非线性不变性变换，其即使在存在不修改模式的类的已知变换的情况下，也令人满意地识别模型。
·发表于2012年12月6日的题为“apparatus and methods for pulse-codeinvariant object recognition”的专利US2012308136描述了一种基于动作电位的生物启发方法。在一个变体中信息被编码为相对于时间事件的发生的脉冲延迟的模式；例如，新视觉上下文或图像移动的外观。脉冲的模式有利地基本上对诸如尺寸、位置和取向的图像参数不敏感，以使得图像的标识可被容易地解码。
·题为“apparatus and methods for invariant pattern recognition”的专利US2015227849使用三阶玻尔兹曼机的新因子分解，其采用任意变换的多层无监督训练并且即使在没有标记的数据的情况下也训练丰富且复杂的功能。然后使用这些特性来对未知输入模型进行分类，以便实现维度的减少或压缩。
所有这些感知不变性的方法在允许信息动态地循环的同时，不允许存在于人类记忆中的统一关联存储机制和两个方向上的伴随操作(自下而上和自上而下)。此外，存储在存储器中的元素无法简单地从一个介质传送到另一介质，因为它们不是不变的。
为了克服这些缺点，本发明的作者P.Pirim在公开：“Perceptive Invariance andAssociative Memory Between Perception and Semantic Representation,USER aUniversal Semantic Representation Implemented in a System on Chip(SoC)”(发表于Living Machines 2016，LNAI 9793，第275–287页，2016年)中提出了另一方法。该最早的简洁方法之后进行了许多改进，在本发明中对此进行描述。本发明的感知不变性方法的目的在于仅生成感知的元素的单个语义表示，以便优化为其存储的信息量并且能够从其上下文或在其上下文中回忆其内容。本发明的关联的装置基于专利FR2858447中所描述的自动边缘和曲率感知，其发明人与本申请的发明人相同，该专利题为“procédé et dispositifautomatisé de perception avec détermination et caractérisation de bords et defrontières d’objets,d’un espace,construction de contours et applications”。在该专利中，经由用于计算相同类型的直方图(目前是双线性的，称为“动态吸引子”)的一组基本单元或模块来分析由空间对象的参数表示的数字信号。该装置允许各种过程被集成到电子部件中。
发明内容
因此，本发明涉及一种能够计算空间中发生的事件的感知不变性的自动化方法，其由一起形成随时间在一系列moment T变化的多维空间x,y的像素表示，各自与时间参数A、B、…关联的所述数据采取由a位二进制数的序列Axyt、Bxyt、…组成的数字信号DATA(A)、DATA(B)、…的形式，其与同步信号关联，从而允许相对于至少一个参数限定在给定时刻接收到信号Axyt、Bxyt、…的空间的moment T和该空间中的位置x,y，以用于所述事件的不变性的计算；根据本发明：
a)在moment T期间在空间x,y上以可参数化的方式执行因子k的比例改变。
b)在相同的moment T期间在空间i＝x/k,j＝y/k中基于先前步骤的比例改变结果执行用于取向边缘和关联的曲率的基本提取的计算。
c)基于预先计算的基本取向边缘和关联的曲率结果来执行循环双线性时空直方图的计算，以便由此定位事件相关空间的感兴趣区域，并且根据应用于空间参数的统计曲率和取向边缘标准，以便在moment T的结尾处针对因此定位的感兴趣区域从其获得：
a.取向边缘bo0和曲率cb0的中值，
b.点云的重心位置值i0,j0，
c.点云的尺寸值ap0,bp0，
d)如果需要，根据先前步骤中限定的中值曲率值cb0来执行参数k的计算，
e)如果需要，通过在moment T的结尾处迭代，通过更新步骤a)中的比例k的改变的参数来执行自动控制，以使中值曲率值cb0保持在两个增加的极限La和Lb之间，
f)在比例k的改变之前，通过将坐标系X,Y归于其，使得这些新坐标根据旧坐标x,y通过原点k.i0,k.j0的几何平移以及坐标系以角度bo0旋转来定义，选择上游坐标系x,y中的感兴趣区域，使得：
Figure GDA0004100593050000031
其中-k.ap0≤X<k.ap0并且–k.bp0≤Y<k.bp0
g)调整该感兴趣区域的比例以使其适合于2z像素边长的居中正方形，形成最大范围k.ap0或k.bp0的位数u被截断，以便仅保留该范围的z个最高有效位。比率1/2(u-z)形成位似比，
h)使用在该2z像素边长的正方形和坐标系X1＝X.1/2(u-z)、Y1＝Y.1/2(u-z)中定义的数据以期从其提取并识别所述事件的不变基本语义表示，
-在moment Ti期间在空间x,y上经由大小为2w+1的高斯滤波操作的计算以可参数化的方式执行因子k的比例改变，值w是滤波矩阵的参数，与因子k的抽取函数关联，
-根据先前步骤d)中定义的中值曲率值cb0通过将新的曲率中值cb0与增加值La和Lb的两个极限进行比较来执行参数w和k的计算(0≤w≤w_max)，使得：
a)cb0<La，w的值增加一个单位。标志Val＝0
b)La≤cb0≤Lb，W的值保持不变。标志Val＝1
c)cb0>Lb，w的值减小一个单位。标志Val＝0
d)参数w的仿射函数重新计算值k，使得k＝0.81w+1.09，
-在各个moment T的结尾处通过迭代的自动控制通过更新步骤a)中的高斯滤波参数w和抽取参数k来执行，以使中值曲率值cb0保持在两个增加的极限La和Lb之间，
-在moment Ti期间在空间x,y上使用专用传感器以可参数化的方式执行因子k的比例改变，
-通过将坐标系X,Y中k.ap0×k.bp0大小的区域归于该空间x,y，使得这些新坐标根据旧坐标x,y通过原点k.i0,k.j0的几何平移、坐标系以角度bo0的旋转和位似比1/2(u-z)来定义，在moment T期间在空间x,y中使用专用传感器在上游坐标系x,y中选择感兴趣区域，
-为了基于在该2z像素边长的正方形中定义的数据来提取和识别所述事件的不变基本语义表示，
a)这些数据中的每一个被变换为全局、动态和结构类型，这些数据位于坐标系X1,Y1中，
b)基于全局、动态和结构类型的基本结果来执行循环双线性时空直方图的计算，这些结果位于坐标系X1,Y1中并预先计算，以便由此定位集成到空间的2z边长尺寸的正方形中的感兴趣区域，从而根据坐标系X1,Y1的空间参数的全局、动态和结构统计标准来表示事件的一个部分，以便在moment T的结尾处针对因此定位的感兴趣区域从其获得至少结构语义表示：
a.取向边缘bo1和曲率cb1的中值，
b.点云的重心位置值i1,j1，
c.点云的尺寸值ap1,bp1，
c)再次迭代循环双线性时空直方图的新计算，同时禁止先前定位的主要区域的信息，以在2z边长的不限正方形空间的区域内定位其它感兴趣区域，直至已执行n计算序列或者直至该空间的不限剩余区域不再产生与所述统计标准对应的区域，以便在moment T的结尾处针对因此定位的感兴趣区域从其获得至少结构语义表示：
a.取向边缘bo1和曲率cbn的中值，
b.点云的重心位置值in,jn，
c.点云的尺寸值apn,bpn，
d)所有这些基本语义表示值被发送到关联存储器以期标签识别。
本发明还涉及一种计算空间中发生的事件的感知不变性的自动装置，其由一起形成随时间在一系列moment T变化的多维空间x,y的像素表示，各自与时间参数A、B、…关联的所述数据采取由a位二进制数的序列Axyt、Bxyt、…组成的数字信号DATA(A)、DATA(B)、…的形式，其与同步信号关联，从而允许相对于至少一个参数限定在给定时刻接收到信号Axyt、Bxyt、…的空间的moment T和该空间中的位置x,y，以用于所述事件的不变性的计算。根据本发明的用于计算感知不变性的自动装置包括：
a)用于在moment T期间在空间x,y上计算因子k的比例改变的单元，
b)用于在相同的moment T期间在空间i＝x/k,j＝y/k中基于先前步骤的比例改变结果计算取向边缘和关联的曲率的基本提取的单元，
c)用于基于预先计算的基本取向边缘和关联的曲率结果来计算循环双线性时空直方图的单元，以便由此定位事件相关空间的感兴趣区域，并且根据应用于空间参数的统计曲率和取向边缘标准，以便在moment T的结尾处针对因此定位的感兴趣区域从其获得：
a.取向边缘bo0和曲率cb0的中值，
b.点云的重心位置值i0,j0，
c.点云的尺寸值ap0,bp0，
d)用于根据先前步骤中限定的中值曲率值cb0来计算参数k的单元(必要时采用)，
e)用于通过在各个moment T的结尾处迭代，通过更新步骤a)中的比例k的改变的参数来计算自动控制的单元，该单元必要时采用，以使中值曲率值cb0保持在两个增加的极限La和Lb之间，
f)用于在比例k的改变的上游，通过将坐标系X,Y归于其，使得这些新坐标根据旧坐标x,y通过原点k.i0,k.j0的几何平移以及坐标系以角度bo0旋转来定义，在坐标系x,y中选择感兴趣区域的单元，使得：
Figure GDA0004100593050000051
其中-k.ap0≤X<k.ap0并且–k.bp0≤Y<k.bp0
g)用于调整该感兴趣区域的比例以使其适合于2z像素边长的居中正方形的单元，形成最大范围k.ap0或k.bp0的位数u被截断，以便仅保留该范围的z个最高有效位。比率1/2(u-z)形成位似比，
h)用于输出在该2z像素边长的正方形和坐标系X1＝X.1/2(u-z)、Y1＝Y.1/2(u-z)中定义的这些数据以期从其提取并识别所述事件的不变基本语义表示的端口。
其以可参数化的方式包括用于在moment Ti期间在空间x,y上计算因子k的比例改变的单元，包括大小为2w+1的高斯滤波操作的计算，值w是滤波矩阵的参数，与因子k的抽取参数w的仿射函数关联，
其包括用于根据先前步骤d)中定义的中值曲率值cb0来计算参数w和k的单元，新的曲率中值cb0与增加值La和Lb的两个极限进行比较(0≤w≤w_max)，使得：
a)cb0<La，w的值增加一个单位。标志Val＝0
b)La≤cb0≤Lb，W的值保持不变。标志Val＝1
c)cb0>Lb，w的值减小一个单位。标志Val＝0
d)参数w的仿射函数重新计算值k，使得k＝0.81w+1.09，
其包括用于在各个moment T的结尾处通过迭代计算自动控制的单元，更新步骤a)中的高斯滤波参数w和抽取参数k，以使中值曲率值cb0保持在两个增加的极限La和Lb之间。
其包括用于在moment Ti期间在空间x,y上使用专用传感器以可参数化的方式实现执行因子k的比例改变的单元。
其包括用于通过将坐标系X,Y中k.ap0×k.bp0大小的区域归于该空间x,y，使得这些新坐标根据旧坐标x,y通过原点k.i0,k.j0的几何平移、坐标系以角度bo0的旋转和位似比1/2(u-z)来定义，在数据帧序列期间在空间x,y中使用专用传感器形成在上游坐标系x,y中选择感兴趣区域的单元。
其包括为了基于在该2z像素边长的正方形中定义的数据来提取和识别所述事件的不变基本语义表示，采用下列：
a)语言翻译单元，其将这些数据中的每一个变换为全局、动态和结构类型，这些数据位于坐标系X1,Y1中，
b)用于基于全局、动态和结构类型的基本结果来计算执行计算的循环双线性时空直方图的单元，这些结果位于坐标系X1,Y1中并预先计算，以便由此定位集成到空间的2z边长尺寸的正方形中的感兴趣区域，从而根据坐标系X1,Y1的空间参数的全局、动态和结构统计标准来表示事件的一个部分，以便在moment T的结尾处针对因此定位的感兴趣区域从其获得至少结构语义表示：
a.取向边缘bo1和曲率cb1的中值，
b.点云的重心位置值i1,j1，
c.点云的尺寸值ap1,bp1，
c)引入用于再次迭代循环双线性时空直方图的新单元，同时禁止先前定位的主要区域的信息，以在2z边长的不限正方形空间的区域内定位其它感兴趣区域，直至已执行n计算序列或者直至该空间的不限剩余区域不再产生与所述统计标准对应的区域，以便在moment T的结尾处针对因此定位的感兴趣区域从其获得至少结构语义表示：
a.取向边缘bon和曲率cbn的中值，
b.点云的重心位置值in,jn，
c.点云的尺寸值apn,bpn，
d)输出端口，其将所有这些基本语义表示值发送到关联存储器以期标签识别。
在使用中，该装置包括存储器装置，该存储器装置用于关联地存储确保不变性的语义表示及其关联的标签、以及定位的感兴趣区域的表示和事件的上下文，该标签以统一的方式表示事件。
附图说明
现在将通过以下非限制性描述并参照以下附图来描述本发明：
图1是根据本发明的自动化感知不变性方法的一般性表示，其允许事件的感知的语义表示在其上下文中的不变提取；
图2是根据本发明的感知不变性装置的一般性表示；
图3是经由使用动态吸引子计算允许感知不变性的参数的过程的详细例示；
图4示出经由两个视觉传感器的光机械实现来集成视觉感知不变性的应用；
图5示出关于关联存储器(10)使用视觉装置集成用于标签(100)的语义表示的两个(一个上下文，一个局部)单元；
图6示出基于关联存储器(10)与语言翻译传送单元(71)所关联的动态吸引子单元(80_i)组合来语义地表示标签(100)的单元的示例；
图7a和图7b是语言翻译单元(71)的传送功能的例示；
图8a至图8d是动态吸引子单元(80_i)的双线性直方图的计算的组织的例示；
图9是通过动态吸引子(80_0)提取由图5的视觉装置感知的元素的上下文语义表示的例示。
具体实施方式
图1基于事件(参考(x,y)的信号(HD))、其上下文(参考(i,j)的信号(MAP1))及其表示(参考(X,Y)的信号(MAP2))之间的交互的按顺序动态管理的示例描述一般感知不变性方法。
相对于至少一个参数在空间中发生的事件(90)(在于将其数字化并将其作为输入传送至用于计算感知不变性并从其推导期望的结果的单元)由与像素关联的数据流a(xyt)描述，这些像素一起形成随时间变化并且表示在一系列moment T的多维空间，以数字信号(HD)的形式到达计算单元的数据采取a位二进制数的序列a(xyt)的形式，该信号与同步信号关联，使得可限定空间的给定moment T和像素在该空间中的位置，由执行高斯滤波操作的二维滤波单元修改，该高斯滤波操作大小为2w+1，按照值w参数化，并按照值k(是参数w的仿射函数(k＝0.81w+1.09))在两个维度抽取(decimate)。该结果限定与先前流相同moment T的二维数据流(MAP1)。
第一moment T开始于时间(t0)，以事件在其上下文中的表示(必须为全局的)作为足够一般曲率(cb0)的凸均匀区域。等于零的滤波参数w限定所分析的输出流(MAP1)，循环双线性直方图的计算与动态吸引子(80_0)对应，并且在moment T的结尾处，从其推导曲率值(cb0)。对于0≤w≤w_max，将该曲率值(cb0)与增加值La和Lb的两个极限进行比较：
·cb0<La，w的值增加一个单位。标志Val＝0
·La≤cb0≤Lb，W的值维持不变。标志Val＝1
·cb0>Lb，w的值减小一个单位。标志Val＝0
对于随后的moment T，更新w和k的关联值。
在随后的moment T(t1)，使用3×3矩阵(w＝1)和k＝1执行高斯滤波操作。结果(cb0<La)导致w的值增加一个单位并且k取值2。
随后的moment T(t2)以w＝2和k＝2开始，促使通过5×5高斯矩阵与数据的卷积以及按照2对输出流(MAP1)的抽取来执行高斯平滑。包括在两个极限La和Lb之间的结果cb0将值w保持在2，将标志Val设定为一，并触发不变流(MAP2)的计算，其大小为2z×2z并且等于：
·帧(HD)中的中心点x0＝k.i0和y0＝k.j0的几何平移
·在该中心点处坐标旋转等于bo0的角度
·位似变换对应于动态吸引子(ap0)或(bp0)的感兴趣区域的最大尺寸乘以抽取系数(k)的值并通过验证先前结果的前z位来缩放。
该收敛如设定为1的标志Val表明已稳定，其余moment T(t3)至(t5)采用通过动态募集招募的动态吸引子，以便在moment T的结尾处为因此定位的感兴趣区域获得结构语义表示，同时禁止预先定位的主要区域的信息，以在2z边长的不限正方形空间内部定位其它感兴趣区域。
moment T(t3)的第一动态吸引子(80_1)聚焦于最重要的点的组合(这里，数字“2”的曲率cb1及其取向bo1、其位置x1、y1及其尺寸ap1、bp1)，然后在禁止预先定位的主要区域的信息的同时，在moment T(t4)，第二动态吸引子(80_2)提取其水平基准、曲率cb2及其取向bo2、其位置x2、y2及其尺寸ap2、bp2，第一动态吸引子仍应用，最后，在moment T(t5)，第三动态吸引子(80_3)提取其倾斜曲率部分cb3及其取向bo3、其位置x3、y3及其尺寸ap3、bp3。
当该空间的数字“2”(不限)的剩余区域不再产生与所述统计标准对应的区域时，更迭(succession)停止并且与消息MEin对应的三个动态吸引子(80_1)、(80_2)和(80_3)各自的结果(RSin_1)、(RSin_2)和(RSin_3)被引入到关联存储器(10)中以便由此传送标签“2”。
图2示出与上面参照图1描述的方法关联的感知不变性装置，并且包括以下单元：
语言翻译单元(130)
事件(90)由语言翻译器(130)感知，其传送数据与像素关联的数据流(HDxyt)，这些像素一起形成随时间变化并且表示在一系列moment T的多维空间，各自与时间参数HD关联的所述数据采取数字信号DATA(HD)的形式，其由通过时钟(Ck)以及数据定序器(150)的o和p位各自的维度的位置x、y同步的a位二进制数的序列(HDxyt)组成。该流(HDxyt)连接到高斯滤波单元(200)的输入和缓冲存储器(600)的输入。
抽取单元(Dec)包括：
·数据定序单元(150)，其生成地址x和y以及使该抽取单元(Dec)的数据同步的信号，
·高斯滤波单元(200)，其通过时钟(Ck)和数据定序器(150)的位置x、y来同步，并且按照滤波值(w)参数化。该单元通过2w+1大小的高斯矩阵与输入数据的卷积来应用高斯类型的二维滤波函数，结果是依次传送到抽取单元(300)的二维数据流ImG(xyt)，
·抽取单元(300)，其接收输入流ImG(xyt)并作为输出将二维数据流MAP1(ijt)传送至用于计算取向边缘的单元(350)，同时根据两个维度x和y每k个元素选择一个元素。例如，对于k等于1，选择所有元素，对于k等于2，在两个维度上在两个连续元素中选择一个，因此序列所传送的比所接收的少四倍，对于增加的k依此类推。该单元生成位置i、j的新序列，使得i＝x/k和j＝y/k。
转换单元(71’)包括：
·用于计算取向边缘的单元(350)，其将流的在a位(位置i,j)上编码的各个输入数据变换为与设定为1的标志(Valid)所表明的边缘的存在对应的角度值Bo(位置i,j)，或者在相反情况下(标志(Valid)设定为0)变换为中性值。这些值形成在a位上编码的流ImBo(ijt)，
·用于计算曲率的单元(360)，其接收流ImBo(ijt)，以便从其计算与找到的局部角度变化对应的曲率概念(Cb)(位置i,j)，或者在相反情况下(标志(Valid)设定为0)变换为中性值。这些值形成在a位上编码的流ImCb(ijt)，
·各自被单元(540)截断a位至z个最高有效位的这两个流ImBo(ijt)、ImCb(ijt)的关联形成输入到动态吸引子(80_0)中的二维结构流。
·分别具有幅度xmax/k和ymax/k以及o/k和p/k位的关联的空间流(i,j)被截断与形成最高值o/k或p/k的位数减去z个最高有效位对应的u位，并形成输入到动态吸引子(80_0)中的空间二维流。
动态吸引子(80_0)
动态吸引子(80_0)(在图3中更精确地描述)在各个验证的基本时刻(标志(Valid)设定为1)从成对的瞬时截断数据i、j和Bo、Cb计算时空二维直方图，每对作为集合包括2z位从而允许计算时空二维直方图，其在moment T的结尾处传送结果(如果元素存在的话)：
·元素i0、j0的重心位置和区域Z_ROI的二进制信号，
·点云的尺寸ap0、bp0及其空间表示(Z_ROI)，以及
·一般取向bo0和一般曲率cb0。
用于计算感知不变性的单元(Inv)包括：
·用于计算使用值(w)参数化的高斯滤波操作的单元(400)，其在moment T的结尾处接收新的一般曲率值(cb0)，对于0≤w≤w_max，将该一般曲率值与增加值La和Lb的两个极限进行比较：
·cb0<La，w的值增加一个单位。标志Val＝0
·La≤cb0≤Lb，W的值保持不变。标志Val＝1
·cb0>Lb，w的值减小一个单位。标志Val＝0
·参数w的仿射函数重新计算值k(k＝0.81w+1.09)。对于随后的moment T发送w和k的关联值，(w)发送到单元(200)，(k)发送到单元(300)。
·用于选择感兴趣区域的单元(510)，其接收重心i0、j0的坐标、抽取系数k、角取向bo0和流(HD(xyt))的坐标x、y，并使用下面的函数从其计算新的坐标X0、Y0：
Figure GDA0004100593050000111
其中-k.ap0≤X<k.ap0并且–k.bp0≤Y<k.bp0
·地址复用器(520)，其针对有效感兴趣区域(Z_ROI)将预先计算的地址传送至缓冲存储器(600)的地址端口。该信号(Z_ROI)通过与正确抽取值对应的信号Val valid(布尔与(550))验证，用于针对传送至其输入端口(In)的流(HD(xyt))的数据控制对缓冲存储器(600)的写入(Wr)。
·存储器地址定序器(530)生成地址X1、Y1流，其穿过地址复用器(520)并且将用于在向与X1＝k.ap0和Y1＝k.bp0对应的范围写入所需的时间之外通过数据流(MAP2)的缓冲存储器(600)的顺序读出。
ROI单元包括：
·缩放单元(542)，其将值X1和Y1截断至z个最高有效位以便生成各自在2z值的范围内的地址X和Y(与2z边长的正方形的大小对应)。
·从地址X、Y中的存储器(600)的读出获得的数据流(MAP2)与感知的元素的不变信息对应。
图3a描述了计算参数的过程，这些参数允许使用动态吸引子(80_0)来计算感知不变性，动态吸引子(80_0)由两组用于计算双线性直方图的单元(81_S)和(81_P)组成，这些单元接收信号并且各自生成分类值，其乘积(V)用于验证计算：
·第一子组件(81_S)，其接收承载时间参数Bo、Cb的两个信号，以及
·第二子组件(81_P)，其接收两个空间信号i、j，
·第一子组件(83)的分类值，其验证由此子组件处理的空间的一组点，所述点的数量为n1，该数量必须高于阈值以便考虑到，
·第二子组件(83)的分类值，其验证由该第二子组件处理的参数的值，
·这两个子组件联合生成表示感兴趣区域的二进制信号Z_ROI以及表示该区域的时间参数的值的二进制信号BC，
·与运算器86，其将输出的二进制信号Z_ROI和BC组合，该运算器的输出用作验证用于计算双线性直方图的单元集合的计算的信号(78)，
·外部定序器，其在moment T的开始处将用于计算双线性直方图的这些单元集合的存储器初始化，然后在moment T期间验证计算，以便根据应用于空间参数的统计曲率和取向边缘标准来定位事件相关空间的感兴趣区域，并且在moment T的结尾处针对因此定位的感兴趣区域，获得：
a)取向边缘bo0和曲率cb0的中值，
b)点云i0、j0的重心位置的值，
c)点云ap0、bp0的尺寸值，
·一系列存储器寄存器(RSi-5)至(RSi-8)，其将这些获得的值存储在存储器中，以便在moment T+1期间保留该信息的有效性以期未来使用。
·用于计算双线性直方图的各个单元集合(81_S)和(81_P)包括：
·分析存储器单元(82)，其包括具有地址的存储器，各个地址与信号(Bo、Cb用于单元(81_S)，i、j用于单元(81_P))的2.2z位数的可能值关联，并且通过信号“Write”来控制其写入，
·分类单元(83)，对于单元(81_S)，其包括旨在接收参数Bo、Cb的选择标准A、B、C、D的存储器，接收参数Bo、Cb作为输入，并作为输出传送二进制分类信号，其值取决于信号Bo与选择标准A、B以及信号Cb与标准选择标准C、D的比较结果。对于单元(81_P)，分类单元(83)按照参数Bo、Cb由i、j替换相同的方式工作。如果第一参数包含在标准A和B之间，同时如果第二参数包含在标准C和D之间，则二进制分类信号通过验证，
·通过在moment T的结尾处针对足够级别的值n1分析直方图存储器所计算的元素，通过向存储器写入标准A、B、C、D，更新分类单元(83)。
图3b示出在moment T期间通过时空双线性直方图计算的元素的结构结果。成对的参数Bo和Cb形成2D表示，以尺寸2z-1的水平正方形的左上角为原点，Bo在一个轴上，Cb在另一轴上。垂直第三轴表示每对之和。最大和由成对的值bo0、cb0表示。
图3c示出在moment T期间通过时空双线性直方图计算的元素的空间结果。成对的参数i和j形成2D表示，以尺寸2z-1的水平正方形的左上角为原点，i在一个轴上，j在另一轴上。垂直第三轴表示每对之和。最大和由成对的值i0、j0表示。元素的空间范围具有以i0、j0为中心的尺寸ap0和bp0并且以i0、j0为中心按等于bo0的角度取向。
图3d示出在上游坐标系x、y中预先计算的元素的感兴趣区域(ROI)-空间结果。元素的感兴趣区域ROI的范围具有以x＝k.i0、y＝k.j0为中心的尺寸k.ap0和k.bp0并且以x＝k.i0、y＝k.j0为中心按等于bo0的角度取向。该感兴趣区域ROI的数据以坐标X和Y限定(原点在感兴趣区域的中心处，尺寸为-k.ap0≤X<k.ap0和–k.bp0≤Y<k.bp0)。
图4示出使用两个联接的相机实现事件(90)的感知不变性的一般装置，第一相机C1在大视场中输出与像素关联的低分辨率的信号MAP1，这些像素一起形成随时间变化并表示在一系列moment T的多维空间，第二相机C2可相对于第一相机移动并在窄视场中具有高分辨率，并且输出与像素关联的信号MAP2，这些像素一起形成随时间变化并表示在一系列moment T的多维空间。用于语义地表示标签的第一单元(100_1)(该单元在图6中详细示出)接收信号MAP1，用于语义地表示标签的第二单元(100_2)接收信号MAP2，用于语义地表示标签的各个单元(100_1)和(100_2)的标签信息输出连接到关联存储器(10)，关联存储器(10)从其获得表示其上下文中的事件的信息。
由相机C1感知的事件由用于语义地表示标签的单元(100_1)全局地分析，由此
·向执行器(96)传送关于一般曲率cb0的信息，执行器(96)从其推导变焦系数k’，并且
·传送关于中心位置i0、j0的信息，在感知的基础坐标系中包括事件的感兴趣区域的尺寸为ap0和bp0并且取向为bo0。
该信息和值k’被发送到执行器(97)，执行器(97)控制相机C2的放置和放大倍率，以使得其光轴指向感兴趣区域的中心，使得放大倍率适合于所述感兴趣区域的大小，并且使得垂直于光轴的主轴转动与传送的取向边缘值对应的角度。
由相机C2感知的事件由用于语义地表示标签的单元(100_2)通过不变事件详细分析，该单元(100_2)从其依次推导表征事件的基本语义表示，其被呈现给关联存储器以期识别其标签。
图5是使用输出HD信号的单个超高分辨率大视场相机来实现感知不变性的一般装置。这是图2所示的装置的扩展和一般化。
相同部分。
相同的事件(90)，相同的语言翻译器(130)，相同的流(HD)与抽取单元(Dec)和单元(ROI)相联系，二者均由不变性计算单元(Inv)控制。
扩展。
一般语义表示单元(100_0)(在图6中详细示出)接收信号MAP1(ijt)、其位置(i,j)作为输入，并包含与下列单元关联的关联存储器单元(10)：
·语言翻译传送单元(71)，其包括单元(71’)并扩展至全局和动态感知(在图7a中详细示出)，以及
·动态吸引子单元(80_0)，在图2中给出的例示中，其包括
○两个统计处理单元，(81_G)称为全局感知，(81_D)称为动态感知(在图6中详细示出)，以及
○各个统计处理单元中的分类器(84)。
该一般语义表示单元(100_0)在moment T的结尾处在向其附加关于全局和动态基本语义表示的补充信息的同时将信息传送至如上面参照图2描述的不变性计算单元以及关联存储器单元，所有这些表示一起形成由关联存储器(10)读取的消息，由此传送标签值(Lout_i)。相反，该标签值可通过值Lin_i重新引入到相同的关联存储器(10)中，存储器的输出然后传送消息(这将预先学习)，该消息控制分类器(84)以期确认所获取的信息。
一般语义表示单元(100_1)作为输入接收信号MAP2(XYt)、其位置(X,Y)并拥有n个动态吸引子单元，传送至多n个子消息至关联存储器(10)，关联存储器(10)从其推导(如果已经知道的话)标签(Lout_j)。如上所述，将标签(Lin_j)引入到单元(100_2)的关联存储器(10)中的逆函数控制分类器(84)以期确认所获取的信息。
图6示出与动态吸引子单元(80_i)以及与语言翻译传送单元(71)组合使用关联存储器(10)的示例，其限定用于语义地表示标签的单元(100)。为了更清晰，定序信号已被省略。
语言翻译传送单元(71)。
由上游元件(接收器(92))生成的时空数据(70)或者来自关联存储器单元(10)(这里未示出)的处理结果被传送至语言翻译传送单元(71)的输入端口(E,P(i,j))，语言翻译传送单元(71)继而按照时钟信号(Ck)所设定的速率将位置参考基本语义表示同步地传送至其输出端口(G)、(D)、(S)和(P)。各个输出端口(G)、(D)、(S)和(P)分别独立地连接到总线G(72)、总线D(73)、总线S(74)和总线P(75)，其全部为相同的2z位大小。n个动态吸引子单元(80_1)至(80_n)分别经由输入端口(G)、(D)、(S)和(P)连接到这四个总线。
动态吸引子单元(80_1)
由于所有动态吸引子单元(80_1)至(80_n)具有相同的设计，所以仅更详细地描述动态吸引子单元(80_1)，以期给出其操作的说明。该动态吸引子单元(80_1)包括：
●四个相同的统计处理单元(81_G)、(81_D)、(81_S)和(81_P)。各个统计处理单元(81_x)包括：
○用于计算双线性直方图的单元(82)，包括
■根据统计处理单元(81_x)与(G)或(D)或(S)或(P)对应的输入数据(x)，
■结果寄存器单元(R)，
■用于验证双线性直方图计算的输入(V)，以及
■用于根据操作模式来定序(按顺序或按事件数量)的单元(这里未示出)，其按顺序循环地确保初始化阶段、直方图计算阶段、寄存器(R)更新阶段和自动分类阶段。
初始化阶段在于将用于存储直方图计算的存储器清零并将各种计算寄存器初始化。
在直方图计算阶段期间，各个呈现的数据(x)与验证或未验证计算的输入信号(V)对应。
在序列结束时或者一旦直方图的最大值超过外部参数化的阈值(取决于所使用的模式)，使寄存器(R)和自动分类单元(83)的寄存器为最新。所计算的值是计算数(NBPTS)、中值(Med)、最大值(RMAX)、其位置(PosRMX)以及分类极限(A)、(B)、(C)和(D)。
○两个分类单元，一个为自动的(83)，一个为基于请求的(84)，各自从输入端口(x)接收在2z位上编码的数据，并且各自为包含在其分类极限(A)和(B)之间的z个最高有效位以及为包含在其分类极限(C)和(D)之间的z最低有效位传送有效分类二进制信号。
○布尔分类验证单元(85)从两个(自动和基于请求的)分类单元(83,84)接收二进制分类信号。对这两个二进制分类信号执行的与逻辑运算的结果被发送到统计处理单元(81_x)之外。
●布尔时空分类单元(86)从四个统计处理单元(81_G)、(81_D)、(81_S)和(81_P)接收二进制分类信号以便对其执行与逻辑运算，其结果被发送到直方图计算-验证单元(87)。
●直方图计算验证单元(87)包括具有两个输入(其中一个(88)反相)的与逻辑单元以及具有两个输入(89)的或逻辑单元。与逻辑单元(88)直接接收从与逻辑单元(86)输出的二进制信号并将单元(80_1)的输入二进制信号(Cin)反相，并将二进制直方图计算验证信号传送至各个统计处理单元(81_G)、(81_D)、(81_S)和(81_P)的输入(V)。
或逻辑单元(89)接收单元(80_1)的输入二进制信号(Cin)和来自与逻辑单元(88)的二进制直方图计算验证信号，并将二进制禁止信号传送至单元(80_1)的输出端口(Cout)。
●输出寄存器单元(76)包括寄存器(RSi-1)至(RSi-q)，其在每次值(NBPTS)超过外部参数化的阈值时更新。寄存器(RSi-1)至(RSi-p)的次序对应于中值(Med1,Med2)以及由各个统计处理单元(81_G)、(81_D)、(81_S)和(81_P)的分类极限((B)减去(A)和(D)减去(C))之间的差异限定的分类范围(P1,P2)。即，对于(RSi-1)和(RSi-2)，全局模式的中值(MedG1,MedG2)及其相应的范围(PG1,PG2)，同样对于动态模式和结构模式，其与能量重心对应的位置(MedP1,MedP2)及其范围内的(PP1,PP2)。在此示例中，输出寄存器单元(76)包括寄存器(RSi-1)至(RSi-8)。通常，特定数量的寄存器(RSi-x)由于不相关而未被利用。例如，文本的视觉感知拥有均匀全局模式(颜色相同并且无移动)，仅结构方面提供相关信息，这使八个起始寄存器减少到三个：重心、尺寸和结构。
●输入寄存器单元(77)包括具有与输出寄存器单元(76)相同的组织方式的寄存器(RSo-1)至(RSo-q)。即，对于(RSo-1)和(RSo-2)分别为全局模式的中值(MedG1,MedG2)及其相应的范围(PG1,PG2)，其被变换为分类极限(A)、(B)、(C)、(D)，使得极限(A)等于(MedG1)-(PG1/2)，极限(B)等于(MedG2)+(PG2/2)，同样对于极限(C)和(D)按照相同的次序。这些分类极限(A)、(B)、(C)、(D)被写入到基于请求的分类单元(84)。针对单元(81_D)、(81_S)和(81_P)的其它基于请求的分类单元(84)重复相同的操作。对于包含超过四位的z位的信息，优选通过将分类下限减小1至2位的值并且通过将分类上限增加1至2位的值来扩展分类范围，以便扩大请求。
关联存储器(10)
在其一般实现方式中，先前的图中所示的关联存储器单元(10)具有从n个子消息(RSin_1)至(RSin_n)形成的消息(MEin_i)以及从n个子消息(RSout_1)至(RSout_n)形成的消息(MEout_j)，作为与动态吸引子单元(80_1)至(80_n)的接口。
子消息(RSin_1)从动态吸引子单元(80_1)的输出寄存器单元(76)发送到关联存储器单元(10)的存储器子单元(2_1)的输入端口(In)。同样，子消息(RSin_2)从动态吸引子单元(80_2)的输出寄存器单元(76)发送到关联存储器单元(10)的存储器子单元(1_2)的输入端口(In)，并且传输按相同的次序继续直至秩n。
相反，子消息(RSout_1)从关联存储器单元(10)的存储器子单元(2_1)的输出端口(Out)发送到动态吸引子单元(80_1)的输入寄存器单元(77)。同样，子消息(RSout_2)从关联存储器单元(10)的存储器子单元(1_2)的输出端口(Out)发送到动态吸引子单元(80_2)的输入寄存器单元(77)，并且传输按相同的次序继续直至秩n。
关联存储器单元(10)包括：
●由n个存储器子单元组成的第一组件，各个存储器子单元由m位的2m个字组成，所述子单元参考(2_1)至(2_n)，各自分别经由其输入端口(In)接收存储器子单元(2_1)的子消息(RSin_1)至存储器子单元(2_n)的子消息(RSin_n)，
●由v位(1)的2v个字的存储器子单元组成的第二组件，其经由输入端口(In)接收标签(Lin_j)，以及
●用于计算最大似然的单元(4)，以便选择最代表的值r、s等。该单元(4)分别经由输入端口(L_i)至(L_n)从各个存储器子单元(2_1)至(2_n)的输出端口(Cadr)接收值r或者s，其相应二进制验证信号分别经由输入(V_1)至(V_n)。经由引入到单元(4)中的时钟信号(CK)来确保内部定序。最大似然的选择位于输出端口(L_i)上，v位的总线将该值发送到存储器子单元(1)的输入端口(Adr)，存储器子单元(1)经由其输出端口(Out)传送标签(Lout_i)的值。
在标签至消息方向上，(Lin_j)到达存储器子单元(1)的输入端口(In)导致值j被传送至其输出端口(Cadr)，该值j通过链接值选择单元(10)被发送至总线(AB)并馈送至所有存储器子单元(2_1)至(2_n)，各个存储器子单元经由其相应输出端口(Out)传送相应子消息(RSout_1)至(RSout_n)，这些子消息一起形成消息(MEout_j)。
在相反方向(即，消息至标签方向)上，与消息(MEin_i)对应的子消息(RSin_1)至(RSin_n)分别被馈送至各个存储器子单元(2_1)至(2_n)的输入端口(In)，各个存储器子单元将值r等与经由相同存储器子单元的输出(M)传送的二进制验证信号关联传送至其相应输出端口(Cadr)。在存储器子单元不存在馈送的子消息的情况下，存储器子单元向其输出(M)传送二进制无效信号，存在于其输出端口(Cadr)上的值然后被忽略。
消息的分解。
n.m位的各个接收的消息(MEin)由m位的n个子消息(RSin_x)组成，x从1至n变化。同样，由关联存储器传送的n.m位的各个消息(MEout)由m位的n个子消息(RSout_x)组成，x从1至n变化。
各个子消息被分段为与m/q位对应的z位的q个输入元素(RSi_x)或输出元素(RSo_x)，元素的秩对应于位置、尺寸和表征的概念。
●位置由其坐标系(Ref)限定，其通常从一至三变化，并且对于一对元素，常常等于二，例如x和y表示坐标系(Ref)中两个距离之间的关系，或者t和f表示坐标系(Ref)中时间与频率之间的关系。通常，它是表示上述表征的点云的重心位置，即，如子消息的元素所限定。
●尺寸表征点云的范围(通常其大小)，因此坐标系(Ref)的每个轴一个元素(RSi_x)。
●表征通常是下列类型之一的基本语义表示：
●全局：作为非限制性示例，颜色由色调和饱和度限定，子通道由基本等限定。
●动态：作为非限制性示例，移动由其速度和其取向限定，语音的韵律等同样如此。
●结构：作为非限制性示例，边缘由其取向和其曲率限定，音素由其共振峰随时间的分布等限定。
标签由v位的字组成，可存储在存储器中的标签的量为2v-1，不包括标签“零”。
标签的定义由可能不完整和/或错误的输入消息给出，这使得难以找到标签。在与应用于(RSin_i)的输入消息(17)的一个部分的位域的掩码对应的某些元素(RSi_x)上使用三元模式允许解决该问题。
图7的a基于由外部传感器(未示出)生成的时空数据(70)(时间数据E和位置数据P(i,j))说明语言翻译传送单元(71)的操作。输入到该单元(71)中的各个时空数据(70)被语言翻译并在位于(P)处的三个不同的基本语义表示(G)、(D)、(S)中经由信号(Ck)同步地传送至四个输出端口。各个输出端口(G)、(D)、(S)和(P)独立地分别连接到总线G(72)、总线D(73)、总线S(74)和总线P(75)。
图7的b是示出各种数据(G)、(D)、(S)和(P)的配准的示意性表示。输入数据被示出为处于其输出全局模式(G)、其输出动态模式(D)和其输出结构模式(S)，并且在由数据(P)确定的位置(i,j)中，处于2D模式下的配准平面中。位置(P)被表示为其基础尺寸的函数。后者对于视觉数据(x,y)和听觉数据(t,f)通常是2D的，但其当然可以是3D的或减小至1D；更高的维度也是可能的，其使用可行性取决于所分配的存储器的大小。
图8示出基于从语言翻译传送单元(71)输出的2z位的数据(G)、(D)、(S)和(P)的动态吸引子单元(80_i)的四个双线性直方图的计算结果的组织方式。在此示例中处理的输入数据为2D视觉类型。单元(71)将该数据语言翻译为：
●全局表示(G)：沿着两个轴，色度(T)和饱和度(S)。22z个值上的直方图(H_G)，图8的a。
●动态表示(D)：沿着两个轴，方向(Dir)和移动速度(Vit)。22z个值上的直方图(H_D)，图8的b。
●结构表示(G)：沿着两个轴，取向边缘(Bo)和曲率(Cb)。22z个值上的直方图(H_S)，图8的c。
●位置表示(P)：沿着两个轴(X)和(Y)。22z个值上的直方图(H_P)，图8的d。
各个输入数据被编码为2z位的字，给出直方图计算的2z×2z矩阵表示，前z位表示一个轴，剩余z位表示矩阵的第二轴。
为了示出表示基本语义表示的感知方法，在图8的d中示出对象(Ob)的一个边缘段的位置(P)的表示，灰色阴影的值与矩阵(H_P)的双线性直方图计算的分类结果(由分类单元(83)分类)对应。该直方图计算的结果被发送至输出寄存器单元(76)，其值是2z位的位置重心(x,y)及其2z位的尺寸范围(ap,bp)。
对象(Ob)的感知的取向和局部曲率(图8的c)由双线性直方图计算(H_S)传送，其计算结果被发送至输出寄存器单元(76)，以其重心，因此其2z位的语义取向和曲率表示(bo,cb)和其2z位的容差(as,bs)作为值。
图8的a经由双线性直方图计算(H_G)的结果指示由其2z位的色调和饱和度值(t,s)与其2z位的容差值(ag,bg)表示的对象(Ob)的部分的主色，其被发送至输出寄存器单元(76)。
同样，图8的b经由双线性直方图计算(H_D)的结果指示由其2z位的移动方向值和其速度(dir,vit)与其2z位的容差值(ad,bd)表示的对象(Ob)的部分的局部移动，其被发送至输出寄存器单元(76)。
相反，输入寄存器单元(77)以相同的次序使各个统计处理单元(81_G)、(81_D)、(81_S)和(81_P)的基于请求的分类单元(84)的分类极限为最新。
该感知方法确保了通过学习的标签表示和解释的感知的数据之间的自动控制。
在此示例应用中，关联存储器(10)的输入子消息(RSin_x)由子消息(RSi-1)和(RSi-2)的结果(t,s,ag,bg)组成，(dir,vit,ad,bd)用于子消息(RSi-3)和(RSi-4)，(bo,cb,as,bs)用于子消息(RSi-5)和(RSi-6)，(x,y,ap,bp)用于子消息(RSi-7)和(RSi-8)。关联存储器(10)的输出子消息(RSout_x)同样如此。
该子消息(RSin_x)是位置(对问题where？的响应)的全局、动态或结构基本语义表示(对问题what？的响应)。n个子消息(RSin_x)(x从1至n变化)限定将标签(Lout_i)表示为关联存储器(10)的输出的消息MEin_i。
图5示出通过提取存储在关联存储器(10)中的基本语义表示使用视觉感知不变性的应用。
包括符号(在当前情况下，写在平坦表面上的数字2)的场景(110)被面对放置的相机(120)感知，其以50fps(每秒2千万像素的50个图像)传送高密度视频信号(HD)(例如，20Mp(兆像素)信号)。
该信号(HD)被联合传送至：
●抽取单元(Dec)，其通过空间抽取将该信号(HD)变换为表示相同视点的低分辨率信号(MAP1)(例如，具有0.3Mp和相同的图像频率50fps的VGA格式)，以及
●用于提取感兴趣区域的单元(ROI)，其将该信号(HD)切割为与X1＝k.ap0和Y1＝k.bp0对应的范围内的相同空间分辨率的信号(MAP2)并以相同的图像频率(50fps)或该图像频率的倍数(例如，8倍)发送它。
视频信号(MAP1)被引入到一般语义表示单元(100_1)中，该一般语义表示单元将所写的符号感知为标记。参见图9，该单元(100_1),的动态吸引子(80_0)传送以下类型的基本语义表示：
●全局(G_1)：2z位的字被变换为颜色的基本语义表示-分别与子消息(RSin-1)和(RSin-2)对应的色调和饱和度重心(t0,s0)以及沿着两个轴T和S的数据分布范围(ag0,bg0)。
●动态(D_1)：2z位的字被变换为移动的基本语义表示-分别与子消息(RSin-3)和(RSin-4)对应的方向和移动速度重心(dir0,vit0)以及沿着两个轴Dir和Vit的数据分布范围(ad0,bd0)。
●结构(S_1)：2z位的字被变换为形状的基本语义表示-分别与子消息(RSin-5)和(RSin-6)对应的取向边缘和曲率重心(bo0,cb0)以及沿着两个轴Bo和Cb的数据分布范围(as0,bs0)。
●位置(P_1)：2z位的字被变换为位置的基本语义表示-分别与子消息(RSin-7)和(RSin-8)对应的X和Y位置重心(x0,y0)以及沿着两个轴X和Y按照等于值bo0的角度α0取向的数据分布范围(ap0,bp0)。
所有元素(RSin_1)至(RSin-8)一起形成子消息(RSin_0)。该消息整体给出感知的元素的语义表示，在此示例中该元素具有颜色(t0,s0)，固定(ad0,bd0)＝0,0，以(x0,y0)为中心，按角度bo0取向，并且大小为(k.ap0,k.bp0)。这是上下文表示。
不变性计算单元(Inv)通过通信总线(S_MA)读取取向边缘和曲率信息(bo0,cb0)并计算滤波系数w和抽取系数k，其被发送至单元(Dec)。该循环动态地调整信号(HD)抽取为(MAP1)，以使结果cb0保持在两个极限La和Lb之间，将标志Val设定为一，并触发尺寸2z×2z的不变流(MAP2)的计算，等于：
●坐标系(HD)中的中心点x0＝k.i0和y0＝k.j0的几何平移
●在该中心点处坐标旋转等于bo0的角度
●与动态吸引子的感兴趣区域的最大尺寸(ap0)或(bp0)乘以抽取系数(k)的值对应的位似变换并通过先前结果的前z位的验证缩放。
一旦该收敛如设定为1的标志Val所表明已稳定，其余moment T采用通过动态募集招募的动态吸引子，以便在moment T的结尾处为因此定位的感兴趣区域(ROI)获得结构语义表示，同时禁止预先定位的主要区域的信息，以在2z边长的不限正方形空间的区域内定位其它感兴趣区域。参考位置(MAP2(X,Y))的该图像区域形成视频信号(MAP2)，其被引入到一般语义表示单元(100_2)中，以便整体感知所写的符号。参见图1，该单元(100_2)的动态吸引子(80_1)、(80_2),和(80_3)各自按照视频帧中感知的像素的降序来传送结构基本语义表示和位置。在此示例中，数字2的曲率包括最高感知像素数，因此由动态吸引子(80_1)表示，其传送由2z位的取向边缘和关联曲率元素(bo1,cb1)、2z位的位置元素(x1,y1)、2z位的尺寸元素(ap1,bp1)和等于bo1的取向元素α1组成的m位子消息(Rsin_1)。接收到先前处理操作的禁止的第二动态吸引子(80_2)的动态募集将最高像素数感知为与数字2的水平部分对应，并传送由2z位的取向边缘和关联曲率元素(bo2,cb2)、2z位的位置元素(x2,y2)、2z位的尺寸元素(ap2,bp2)和等于bo2的取向元素α2组成的m位子消息(Rsin_2)。该序列继续：接收到先前处理操作的禁止的第三动态吸引子(80_3)的动态募集将最高像素数感知为与数字2的倾斜部分对应，并传送由2z位的取向边缘和关联曲率元素(bo3,cb3)、2z位的位置元素(x3,y3)、2z位的尺寸元素(ap3,bp3)和等于bo3的取向元素α3组成的m位子消息(Rsin_3)。剩余未处理的像素数低于评定阈值(NBPTS的值低于阈值)，新动态吸引子的募集序列停止。
消息(MEin_i)由子消息(RSin_1)、(RSin_2)和(RSin_3)组成，即，6z位的3个字的组合。对于6％的低精度，编码在4位上的输入数据值z，26z等于224，即，几乎1600万个值，对于n＝3和ME＝16×106组合为：
Figure GDA0004100593050000221
在这种情况下，该消息(MEin_i)与标签(Lin_i)“2”关联，并被存储在语义表示单元(100_2)的关联存储器(10)中。
定序单元(Sec)通过用于语义地表示标签的单元(100_2)与定序器(Sec)之间的通信总线(S_P2)以及关联存储器单元(10)与定序器(Sec)之间的通信总线(S_MA)来控制感知的消息的组织。
关联存储器(10)将从单元(100_1)输出的标签(Lout_j)与从单元(100_2)输出的标签(Lout_i)关联，以便在其上下文中输出与数字“2”的值对应的标签(Lout_k)。例如，该装置使得可验证上下文中位于预先感知的数字“2”右边的数字“1”以便形成数字“21”。
从应用角度，在物联网领域中，图5所示的用于计算事件的感知不变性的自动装置的例示可有利地被集成到电子模块中并用于基于换能器(130)所输出的信号来智能地控制执行器(97)。
参考标号和符号
1：v位的2v个字的关联存储器子单元
2_i：m位的2v个字的关联存储器子单元(i)
4：用于选择最大似然的单元
10：关联存储器单元
70：输入时空数据
71：语言翻译传送单元
71’：简化的语言翻译传送单元
72：G总线
73：D总线
74：S总线
75：P总线
76：输出寄存器单元
77：输入寄存器单元
78：二进制直方图计算验证信号
80：动态吸引子单元
81_G、81_D、81_S和81_P：统计处理单元
82：双线性直方图计算单元
83：自动分类单元
84：基于请求的分类单元
85：具有两个分类验证输入的布尔与单元
86：具有四个时空分类输入的布尔与单元
87：直方图计算验证单元
88：具有一个反相输入的布尔与单元
89：布尔或单元
90：场景的元素
100：用于语义地表示标签的单元
110：感知的场景
120：视觉传感器
130：语言数据翻译器
150：用于对输入数据定序的单元
200：用于执行因子w的高斯滤波操作的单元
300：用于执行因子k的抽取的单元
400：用于计算滤波w和抽取因子k的单元
520：用于复用地址的单元
530：用于对不变数据定序的单元
540：用于将a位截断为z个最高有效位的单元
541：用于将o/k或p/k个最高有效位截断为z个最高有效位的单元
542：用于将k.ap0或k.bp0中的最大截断为z个最高有效位的单元
550：布尔与单元
600：缓冲存储器单元
Axyt：a位二进制数
AB：v位公共总线
Adr：存储器地址输入端口
Cadr：由子单元(2_1)至(2_n)和(1)的输入端口(In)选择的存储器内容的地址输出端口
Cin：动态禁止输入命令
Cout：动态禁止输出命令
Ck：定序时钟
Cor：用于校正输入消息(RSin_i)的命令信号输入
Cpt：计数单元(3)的输出端口
Cpt[v-1:0]：计数单元(3)的二进制输出值
D：动态基本语义表示
Dec：抽取单元
E：单元(71)的数据输入
En：关联存储器子单元(1_i)和(1)的验证输入函数
G：全局基本语义表示
HD：高空间清晰度的视频流
i,j：MAP1坐标系
In：存储器子单元(2_1)至(2_n)和(1)的输入端口
Inv：不变性计算单元
L_i：存储器(1)和(1)之间的链接值
Lout_i：作为输出的标签
Lin_j：作为输入的标签
m：消息的维度
M：验证关联的输出端口(Cadr)的二进制值的输出信号
MA、MB、MC、MD、ME：输入和输出消息
MAP1：抽取的视频流
MAP2：ROI视频流
MEin_i：包含n个子消息(RSin_1)至(RSin_n)的输入消息
MEout_j：包含n个子消息(RSout_1)至(RSout_n)的输出消息
n：输入或输出子消息(RSin_i)或(RSout_i)的数量
Ob：对象的边缘段
Out：存储器子单元(2_1)至(2_n)和(1)的输出端口
P：基本语义表示G、D和S的位置
q：形成子消息的元素数
ROI：数据的感兴趣区域
S：结构基本语义表示
S_ROI：用于单元(Inv)与感兴趣区域之间的通信的总线
S_Dec：用于单元(Inv)与数据抽取之间的通信的总线
S_MA：用于单元(Inv)与关联存储器之间的通信的总线
S_P1：用于单元(Inv)与语义表示单元1之间的通信的总线
S_P2：用于单元(Inv)与语义表示单元2之间的通信的总线
Sec：语义表示单元的定序器
Wr：用于控制对存储器子单元(1)和(1)的写入的信号
Wre：用于选择要写入的关联存储器单元(10)的输入信号
RSi_x：z位的输入子消息RSin_i的元素
RSo-x：z位的输出子消息RSout_i的元素
RSin_i：存储器输入中的子消息(i)
RSout_i：存储器输出中的子消息(i)
X,Y：不变坐标系
X0,Y0：坐标系
X1,Y1：坐标系
V_i：用于(L_i)的值的验证的输入
w：高斯矩阵参数
Wr：存储器写入控制信号
/1：1位的二进制信号
/a：二进制数Axyt的位数
/v：v位的二进制信号总线
/z：z位的二进制信号总线

Claims (11)

1.一种信号处理电路，该信号处理电路用于从所述信号提取语义表示，所述电路被配置为执行：
-空间比例改变和所述信号的抽取的因子k的迭代计算，所述迭代计算被参数化以使在所述信号的窗口中选择的感兴趣区域中选择的两个极限之间的取向边缘的中值曲率值保持恒定；
-对所述感兴趣区域的坐标应用帧改变操作，以便将所述坐标变换到基本语义表示的坐标系；
所述处理电路还被配置为在时段T期间对因子k应用位似比，所述位似比在感兴趣区域中根据所述信号的z个最高有效位确定时空窗口，所述时空窗口适合于执行与存储在连接到所述处理电路的存储器中的基本语义表示的比较。
2.根据权利要求1所述的信号处理电路，其中，所述因子k的迭代计算包括变换到比例1/k的所述信号的取向边缘和曲率的基本提取。
3.根据权利要求2所述的信号处理电路，其中，所述因子k的迭代计算还包括计算循环双线性时空直方图，该循环双线性时空直方图作为输出为所述感兴趣区域传送取向边缘中值、所述取向边缘的曲率值、所述感兴趣区域中由抽取的信号的点限定的点云的重心值以及所述点云的极限的尺寸值。
4.根据权利要求1至3中的一项所述的信号处理电路，其中，所述帧改变操作包括以所述基本语义表示的所述坐标系的原始轴旋转等于所述取向边缘的角度。
5.根据权利要求3所述的信号处理电路，其中，所述帧改变操作包括在比例改变之后几何原点平移至所述点云的重心。
6.根据权利要求5所述的信号处理电路，其中，所述位似比等于1/2的幂，所述幂等于在基本语义表示的坐标系中缩放的信号的点云的极限之间的最低有效位的数量。
7.根据权利要求1至3、5至6中的一项所述的信号处理电路，该信号处理电路还被配置为计算高斯滤波操作的输出处的比例改变的因子k，该高斯滤波操作的矩阵由参数w限定，所述参数w按照仿射关系与所述因子k相关。
8.根据权利要求7所述的信号处理电路，其中，所述仿射关系使得k＝0.81w+1.09。
9.一种用于从信号提取感知不变的装置，该装置包括下列中的一个或更多个：
-所述信号的语言翻译器；
-根据权利要求1至8中的一项所述的信号处理电路；
-动态吸引子，所述动态吸引子被配置为确定基本语义信号表示；
-关联存储器，所述关联存储器经由地址或内容关联，用于存储/使用所述基本语义信号表示。
10.一种信号处理方法，该方法用于从所述信号提取语义表示，所述方法包括：
-空间比例改变和所述信号的抽取的因子k的迭代计算，所述迭代计算被参数化以使在所述信号的窗口中选择的感兴趣区域中选择的两个极限之间的取向边缘的中值曲率值保持恒定；
-对所述感兴趣区域的坐标应用帧改变操作，以便将所述坐标变换到基本语义表示的坐标系；
-在时段T期间对因子k应用位似比，所述位似比在所述感兴趣区域中根据所述信号的z个最高有效位确定时空窗口，所述时空窗口适合于执行与基本语义表示的比较。
11.一种用于从信号提取感知不变的方法，该方法包括下列步骤中的一个或更多个：
-获取所述信号的样本；
-应用根据权利要求10所述的信号处理方法；
-执行动态吸引子处理以便确定基本语义信号表示；
-访问一个或更多个关联存储器，所述关联存储器经由地址或经由内容关联，用于存储/使用所述基本语义信号表示。
CN201880025028.7A 2017-04-28 2018-04-27 信号处理电路和方法、从信号提取感知不变的装置和方法 Active CN110520869B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1700465A FR3065825B1 (fr) 2017-04-28 2017-04-28 Procede et dispositif automatises aptes a assurer l'invariance perceptive d'un evenement spatio-temporel dynamiquement en vue d'en extraire des representations semantiques unifiees
FR1700465 2017-04-28
PCT/EP2018/060929 WO2018197693A1 (fr) 2017-04-28 2018-04-27 Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées

Publications (2)

Publication Number Publication Date
CN110520869A CN110520869A (zh) 2019-11-29
CN110520869B true CN110520869B (zh) 2023-06-02

Family

ID=59859122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880025028.7A Active CN110520869B (zh) 2017-04-28 2018-04-27 信号处理电路和方法、从信号提取感知不变的装置和方法

Country Status (7)

Country Link
US (1) US11164049B2 (zh)
EP (1) EP3616132A1 (zh)
JP (1) JP6909307B2 (zh)
KR (1) KR102454841B1 (zh)
CN (1) CN110520869B (zh)
FR (1) FR3065825B1 (zh)
WO (1) WO2018197693A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11027743B1 (en) * 2020-03-31 2021-06-08 Secondmind Limited Efficient computational inference using gaussian processes
CN113886866B (zh) * 2021-08-09 2024-06-07 安徽师范大学 基于语义位置转移的时空关联轨迹隐私保护方法
US20230288566A1 (en) * 2022-03-09 2023-09-14 Silc Technologies, Inc. Adjusting imaging system data in response to edge effects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226329A (zh) * 1996-07-26 1999-08-18 卡鲁斯·马格努斯有限公司 实时操作的用于识别和定位场景中相对运动的区域并用于确定位移的方向和速度的方法和装置
CN102999547A (zh) * 2011-09-16 2013-03-27 莱克西私人有限公司 搜索查询的自动生成
CN103268498A (zh) * 2013-04-21 2013-08-28 郑州轻工业学院 一种感兴趣区域模糊图像语义理解的方法
CN106126590A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 一种基于关键信息的无人机侦察视频检索方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2540263B1 (fr) * 1983-01-31 1988-05-20 Commissariat Energie Atomique Procede de reconnaissance automatique d'une image a partir d'une image correspondante de reference
FR2798761B1 (fr) 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
FR2821459B1 (fr) * 2001-02-23 2004-11-12 Holding Bev Sa Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
FR2858447A1 (fr) * 2003-07-29 2005-02-04 Holding Bev Sa Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
US7167849B2 (en) 2003-10-29 2007-01-23 Microsoft Corporation Invariant pattern recognition
FR2884625A1 (fr) 2005-04-15 2006-10-20 Holding Bev Sa Sa Luxembourgeo Procede de guidage automatique de vehicule dans une voie de circulation, dispositif correspondant
US9361586B2 (en) 2009-12-07 2016-06-07 Yahoo! Inc. Method and system for invariant pattern recognition
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
FR3039684B1 (fr) 2015-07-27 2018-08-10 Compagnie Generale Des Etablissements Michelin Procede optimise d'analyse de la conformite de la surface d'un pneumatique

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226329A (zh) * 1996-07-26 1999-08-18 卡鲁斯·马格努斯有限公司 实时操作的用于识别和定位场景中相对运动的区域并用于确定位移的方向和速度的方法和装置
CN102999547A (zh) * 2011-09-16 2013-03-27 莱克西私人有限公司 搜索查询的自动生成
CN103268498A (zh) * 2013-04-21 2013-08-28 郑州轻工业学院 一种感兴趣区域模糊图像语义理解的方法
CN106126590A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 一种基于关键信息的无人机侦察视频检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Perceptive Invariance and Associative Memory Between Perception and Semantic Representation USER a Universal SEmantic Representation Implemented in a System on Chip (SoC);Patrick Pirim.;《Biomimetic and Biohybrid Systems》;20160722;第275-286页 *

Also Published As

Publication number Publication date
FR3065825B1 (fr) 2022-12-23
KR20190122790A (ko) 2019-10-30
US20200104647A1 (en) 2020-04-02
FR3065825A1 (fr) 2018-11-02
JP6909307B2 (ja) 2021-07-28
CN110520869A (zh) 2019-11-29
EP3616132A1 (fr) 2020-03-04
KR102454841B1 (ko) 2022-10-13
US11164049B2 (en) 2021-11-02
JP2020519984A (ja) 2020-07-02
WO2018197693A1 (fr) 2018-11-01

Similar Documents

Publication Publication Date Title
Lai et al. Emotion-preserving representation learning via generative adversarial network for multi-view facial expression recognition
CN110503703B (zh) 用于生成图像的方法和装置
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
WO2020125495A1 (zh) 一种全景分割方法、装置及设备
Deng et al. MVF-Net: A multi-view fusion network for event-based object classification
CN110520869B (zh) 信号处理电路和方法、从信号提取感知不变的装置和方法
US20200349414A1 (en) Systems and methods for neuronal networks for associative gestalt learning
Ng et al. Temporal difference networks for video action recognition
CN109902667A (zh) 基于光流引导特征块和卷积gru的人脸活体检测方法
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
Blott et al. Semantic segmentation of fisheye images
CN112597940B (zh) 证件图像识别方法、装置及存储介质
JP2014116716A (ja) 追尾装置
WO2020103068A1 (en) Joint upper-body and face detection using multi-task cascaded convolutional networks
Song et al. Weakly-supervised stitching network for real-world panoramic image generation
CN110619334A (zh) 基于深度学习的人像分割方法、架构及相关装置
Zhang et al. Video extrapolation in space and time
Cao et al. CMAN: Leaning global structure correlation for monocular 3D object detection
CN108228823A (zh) 一种高维图像数据降维的二值编码方法及系统
JP7479507B2 (ja) 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
US12086931B2 (en) Methods of 3D clothed human reconstruction and animation from monocular image
CN111143544A (zh) 一种基于神经网络的柱形图信息提取方法及装置
CN111402164B (zh) 矫正网络模型的训练方法和装置、文本识别方法和装置
CN116129462A (zh) 动作识别方法、模型训练方法和装置
CN113191942A (zh) 生成图像的方法、训练人物检测模型的方法、程序及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant