CN113301493A - 位置节点跟踪 - Google Patents

位置节点跟踪 Download PDF

Info

Publication number
CN113301493A
CN113301493A CN202110143303.9A CN202110143303A CN113301493A CN 113301493 A CN113301493 A CN 113301493A CN 202110143303 A CN202110143303 A CN 202110143303A CN 113301493 A CN113301493 A CN 113301493A
Authority
CN
China
Prior art keywords
node
location node
existing location
existing
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110143303.9A
Other languages
English (en)
Inventor
M.C.陈
S.谢尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Ltd
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/799,720 external-priority patent/US20210266663A1/en
Priority claimed from US16/799,731 external-priority patent/US11393101B2/en
Priority claimed from US16/799,746 external-priority patent/US10869149B1/en
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN113301493A publication Critical patent/CN113301493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558Remote control, e.g. of amplification, frequency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Abstract

一种用于跟踪一个或多个移动对象的位置节点的系统和方法,所述跟踪包括扫描一个或多个移动对象,检测一个或多个移动对象,围绕一个或多个检测到的移动对象创建临时位置节点,在节点池中搜索所述临时位置节点附近的现有位置节点,为所述临时位置节点附近的所述现有位置节点设置定时器,所述定时器具有预定的时间限制,并且为不在现有位置节点附近的临时位置节点设置定时器,创建添加到所述节点池的新位置节点并设置与所述新位置节点相关联的定时器,与所述新位置节点相关联的所述定时器具有预定的时间限制。

Description

位置节点跟踪
技术领域
本公开涉及使用动态视觉传感器(DVS)的位置节点跟踪。
背景技术
高保真音频系统的最佳听音位置是理想的收听位置,也是确保收听者在收听环境中获得最佳音质的重要因素。在传统的高保真音频系统中,技术人员将确定最佳听音位置,并根据用户的要求配置音频系统。完成此设置后,最佳听音位置将保持固定。
波束形成扬声器引入了一项改进,允许用户根据其所需配置调整最佳听音位置。通常,这是在具有一对波束形成扬声器的系统中完成的,该系统能够与装置(诸如手机、平板电脑、笔记本电脑等)上的应用程序软件进行通信。通过配置映射两个扬声器在应用程序上的相对位置的图形菜单,用户可以在收听环境中设置首选的收听位置。扬声器将调整声束并将声束的强度调整到所需的收听位置。然而,图形菜单不包括与实际收听环境有关的信息。在首次安装高保真音频系统期间,两个扬声器的相对位置尺寸是未知的。通常,安装音频系统的技术人员将确定最佳听音位置,并测量左右扬声器之间的距离。技术人员将此测得的距离作为基线参数输入到用户的移动应用程序中。测量完成并输入后,用户可以通过其移动应用程序调整最佳听音位置。从理论上讲,用户应该能够通过拖动表示在表示移动装置显示器上的收听环境的区域内的最佳听音位置的图标,将声音调整到用户更喜欢收听的位置。
这种方法有一些缺点。大多数用户不确定他们所站的位置是否真的与应用程序上显示的最佳听音位置相匹配,因为应用程序软件无法跟踪用户的位置。实际上,用户必须使用反复试验才能使配置菜单与实际环境相匹配。此外,如果扬声器的位置发生变化,则基线参数也会发生变化,并且必须请技术人员来重复安装过程。
发明内容
一种用于跟踪一个或多个移动对象的位置节点的系统和方法,所述跟踪包括扫描一个或多个移动对象,检测一个或多个移动对象,围绕一个或多个检测到的移动对象创建临时位置节点,在节点池中搜索所述临时位置节点附近的现有位置节点,为所述临时位置节点附近的所述现有位置节点设置定时器,所述定时器具有预定的时间限制,并且为不在现有位置节点附近的临时位置节点设置定时器,创建添加到所述节点池的新位置节点并设置与所述新位置节点相关联的定时器,与所述新位置节点相关联的所述定时器具有预定的时间限制。
在另一个示例中,当现有位置节点中的所述对象在与所述现有位置节点相关联的所述定时器到期之前都不移动时,所述现有位置节点从所述节点池中删除。
在另一个示例中,当现有位置节点中的所述对象中的至少一个在与所述现有位置节点相关联的所述定时器到期之前移动时,与所述现有位置节点相关联的所述定时器被重置,并且所述现有位置节点保留在所述节点池中。
在另一个示例中,当现有位置节点中的所述对象中的至少一个移动到所述现有位置节点之外但仍在所述现有位置节点附近时,创建新位置节点来替换所述现有位置节点,并且设置与所述新位置节点相关联的定时器,所述现有位置节点从所述节点池中删除。
在另一个示例中,当现有位置节点中的所述对象中的至少一个移动到所述现有位置节点之外的位置时,创建新位置节点来替换所述现有位置节点,设置与所述新位置节点相关联的定时器,并且所述现有位置节点保留与所述现有位置节点相关联的所述定时器的持续时间。
在另一个示例中,当在所述节点池中存在两个或更多个现有位置节点并且一个或多个对象彼此靠近时,所述两个或更多个现有位置节点合并为一个位置节点,与所述一个位置节点相关联的定时器将被重置,并且其他现有位置节点将从所述节点池中删除。
附图说明
图1是示例性电子装置,该示例性电子装置可以包括自动波束形成(ABF)系统的一个或多个方面;
图2是收听环境的一个示例;
图3是ABF系统的示例性应用的框图;
图4是自动波束形成的一般方法的流程图;
图5是扫描锁定模式的一个示例;
图6是扫描跟随模式的一个示例;
图7是用于位置节点跟踪的方法的流程图;
图8示出了位置节点跟踪的规则;
图9示出了位置节点跟踪的规则;
图10示出了位置节点跟踪的规则;
图11示出了位置节点跟踪的规则;
图12是扬声器布置和目标位置的框图;
图13是LED环的透视图;
图14A是检测到的LED图案的一个示例;
图14B是检测到的LED图案的一个示例;
图15A是检测到的LED图案的一个示例;
图15B是检测到的LED图案的一个示例;并且
图16是用于自动校准的方法的流程图。
附图中的元件和步骤是为了简单和清楚起见而示出,并且不一定根据任何顺序呈现。例如,附图中示出了可同时或以不同顺序执行的步骤以有助于改进对本公开的实施方案的理解。
具体实施方式
虽然本公开的各种方面参考收听环境中的波束形成扬声器系统进行描述,但是本公开不限于此类实施方案,并且在不脱离本公开的情况下,可以实现另外修改、应用和实施方案。在附图中,相同的参考数字将用于示出相同部件。本领域的技术人员将认识到,在不背离本公开的范围的情况下,可以更改本文阐述的各种部件。
图1是示例性电子装置100的框图,该示例性电子装置可以包括示例性位置节点跟踪系统的一个或多个方面。电子装置100可以包括一组指令,该组指令可以被执行以使电子装置100执行一种或多种方法和基于计算机的功能,诸如检测用户、创建与该用户相关联的一个或多个位置节点、跟踪节点池中的一个或多个位置节点、检测手势、计算扬声器与用户之间的角度和距离、配置最佳听音位置、根据计算出的角度调整声束以及根据计算出的距离调整声束强度和传播延迟。电子装置100可以作为独立装置操作,可以作为功能包括在另一装置内,或者可以例如使用网络连接到其他计算机系统、装置或外围装置。
在网络部署的示例中,电子装置100可以作为服务器-客户端用户网络环境中的服务器或者作为客户端用户计算机、作为对等式(或分布式)网络环境中的对等计算机系统或以其他各种方式来操作。电子装置100还可以实现为或合并为各种电子装置,诸如台式计算机和膝上型计算机、手持装置诸如智能电话和平板电脑、便携式媒体装置诸如记录、播放和游戏装置、家用电器、办公设备、机顶盒、汽车电子装置诸如主机和导航系统或任何其他能够执行一组指令(顺序或其他方式)的机器,该组指令将使得该机器采取行动。可以使用提供语音、音频、视频和/或数据通信的电子装置来实现电子装置100。尽管示出了单个电子装置100,但是术语“装置”可以包括装置或子装置的集合,这些装置或子装置单独地或共同地执行一组或多组指令以执行ABF系统的一个或多个电子功能,如在下文中详细描述的。
电子装置100可以包括处理器102,诸如中央处理单元(CPU)、图形处理单元(GPU)或两者。处理器102可以是各种系统中的部件。例如,处理器102可以是波束调整扬声器的一部分。而且,处理器102可以包括一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、它们的组合或其他现在已知或以后开发的用于分析和处理数据的装置。处理器102可以实现软件程序,诸如手动生成或编程的代码。
电子装置100可以包括存储器,诸如可以经由总线106进行通信的存储器104。存储器104可以是或包括主存储器、静态存储器或动态存储器。存储器104可以包括非暂时性存储装置。存储器104还可以包括计算机可读存储介质,诸如各种类型的易失性和非易失性存储介质,包括随机存取存储器、只读存储器、可编程只读存储器、电可编程只读存储器、电可擦除只读存储器、闪存存储器、磁带或磁盘、光学介质等。而且,存储器可以包括存储软件的非暂时性有形介质。软件可以电子形式存储为图像或其他格式(诸如通过光学扫描),然后进行编译、解释或其他处理。
在一个示例中,存储器104包括用于处理器102的高速缓冲或随机存取存储器。在替代示例中,存储器104可以与处理器102分离,诸如高速缓冲存储器或处理器、系统存储器或其他存储器。存储器104可以是或包括用于存储数据的外部存储装置或数据库。示例包括硬盘驱动器、光盘、数字视频盘、通用串行总线、记忆棒、软盘或其他用于存储数据的装置。例如,电子装置100可以包括其中可以嵌入一组或多组软件或指令的计算机可读介质108。处理器102和存储器104还可以包括具有指令或软件的非暂时性计算机可读存储介质。
存储器104可用于存储可由处理器102执行的指令。附图中示出或描述的功能、动作或任务可以通过程序化处理器102执行存储在存储器104中的指令来执行。功能、动作或任务可以独立于指令集、存储介质、处理器或处理策略的类型,并且可以由单独地或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。同样,处理策略可以包括多处理、多任务、并行处理等。
指令可以包括本文描述的一种或多种方法,包括电子装置100和/或ABF系统122的方面。在由电子装置100执行期间,指令110可以完全或部分地驻留在存储器104内或处理器102内。
电子装置100可以包括非暂时性计算机可读介质,该非暂时性计算机可读介质包括指令110或响应于传播的信号而接收并执行指令110,使得连接到网络112的装置可以通过网络112传送语音、视频、音频、图像或其他数据。指令110可以经由通信端口或接口114或使用总线106通过网络112被发送或接收。通信端口或接口114可以是处理器102的一部分,或者可以是单独的部件。通信端口或接口114可以在软件中创建或者可以是在硬件中的物理连接。通信端口或接口114可以被配置为与网络112、外部媒体、一个或多个扬声器116、一个或多个相机118、一个或多个传感器120、或电子装置100中的其他部件或它们的组合连接。与网络112的连接可以是物理连接,诸如有线以太网连接,或者可以无线地建立。与电子装置100的其他部件的附加连接可以是物理连接或可以无线地建立。网络112可以替代地直接连接到总线106。
电子装置可以包括安装在交通工具、居住空间或场所中的一个或多个扬声器116,诸如波束形成扬声器。扬声器116可以是立体环绕声系统和ABF系统122的一部分。
为了执行ABF系统122的功能,处理器102或其他部件可以操纵或处理发送到扬声器116的声音信号。特别地,当扬声器116包括波束形成扬声器时,声音信号可以被发送到扬声器对中的每个扬声器。信号可以被单独或联合地处理。电子装置100可以包括用于调整传递到扬声器116的每个声音信号的相位、幅度和/或延迟的指令。可以以产生期望的覆盖图案的方式来控制相位、幅度和/或延迟。
电子装置100还可以包括一个或多个传感器120。一个或多个传感器可以包括一个或多个接近传感器、运动传感器、相机和动态视觉传感器(DVS)。
图2示出了电子装置可以在其中操作的收听环境200的一个示例。在所示示例中,主扬声器202具有包括传感器120的第一检测装置206。从扬声器204具有包括传感器120的第二检测装置208。主扬声器202和从扬声器204可以是由电子装置100控制的扬声器对的左波束形成扬声器和右波束形成扬声器,以将声束调整到360度的任何角度,从而创建环绕声系统。第一检测装置206和第二检测装置208具有能够检测收听环境中的对象和手势的传感器120。传感器120可以是运动传感器、热传感器、视觉传感器和相机中的任一者但不限于这些。
图3是示出在图2所示的收听环境内的ABF系统的变量和必要参数的图。矩形300表示收听环境的边界。主扬声器202和从扬声器204被示出为在收听环境内彼此相对,并且沿水平x轴间隔开固定距离D1。还示出了用户312期望的最佳听音位置,并且该最佳听音位置被称为目标位置310。距离L1是从第一检测装置206到用户312的距离,距离L2是从第二检测装置208到用户312的距离,并且距离d是沿着从用户到主扬声器202与从扬声器204之间的水平x轴的竖直y轴的距离。
检测装置206、208中的传感器120在收听环境内检测对象,包括用户312和用户312做出的一个或多个手势。电子装置将检测移动对象并识别哪些移动对象是人。一旦将检测到的对象识别为人,则电子装置将跟踪所有人类对象,并等待从其中一个人类对象中检测第一手势314。如果人类对象执行第一手势314,则系统将跟踪该人类对象并等待所跟踪的人类对象执行第二手势316。当执行第二手势时,人的位置向电子装置指示最佳听音位置设置的目标位置。
最佳听音位置的频繁切换可能会对扬声器的性能产生不利影响,因此,为避免错误切换最佳听音位置并防止错误的波束调整,用户可以执行两个手势。第一手势是唤醒电子装置。第二手势是锁定最佳听音位置的目标位置。
第一手势314与唤醒电子装置相关联,以提醒该装置用户312想要调整最佳听音位置。例如,第一手势314可以是诸如用手做波浪状。第一手势314可以由主扬声器202的第一检测装置206和从扬声器204的第二检测装置208中的一者或两者检测。在检测到第一手势314时,主扬声器202和从扬声器204两者上的传感器120将唤醒并跟踪用户312。
当用户想要锁定最佳听音位置时,执行与第一手势314不同的第二手势316。当用户312执行第二手势316时,主扬声器202和从扬声器204都将锁定用户312的位置。从扬声器204上的第二检测装置208将其锁定信息发送到主扬声器202上的第一检测装置206。在从检测装置206、208两者接收到锁定信息时,电子装置计算并配置最佳听音位置。
图4是自动波束形成的一般方法400的流程图。该方法开始于电子装置处于等待状态402。电子装置检测404收听环境中的至少一个对象。电子装置检测406第一手势并进入活动状态。设置408具有预定时间限制的定时器,并且活动状态持续直到用户执行第二手势或定时器到期。在活动状态期间,电子装置跟踪用户(从中检测到第一手势的对象)。
在预定时间段期间,用户可以停留在其现有位置,或者替代地,移动到收听环境中要设置最佳听音位置的位置。因为已经检测到第一手势,所以电子装置处于活动状态,并且将跟踪410用户直到某个时间点,或者定时器到期412,或者用户执行第二手势并且检测到414
第二手势。
当定时器到期并且尚未检测到第二手势时,电子装置返回到等待状态402。当用户在预定时间段内执行第二手势并且一个或多个检测装置检测到第二手势414时,用户位置被锁定416到电子装置中作为最佳听音位置的目标位置。
在锁定416目标位置之后,电子装置具有传感器信息以出于自动波束形成的目的计算418最佳听音位置的目标位置。重新参考图3,目标位置310在检测到第二手势时与用户312的位置重合,并且是期望的最佳听音位置或目标位置310。扬声器之间的距离D1是已知的,并且是基线参数。角度a1是第一检测装置206与目标位置310之间的角度,并且在检测到第二手势并锁定目标位置时从传感器120导出。角度a2是第二检测装置208与目标位置310之间的角度,并且在检测到第二手势并锁定目标位置时从传感器120导出。
使用三角函数,距离L1和L2可以如下计算:
tan(a1)=d/d1; (1)
tan(a2)=d/d2; (2)
d1+d2=D1; (3)
d=D1/(1/tan(a1))+D1/(1/tan(a2)) (4)
距离d是从基线到目标位置310的距离。已知d,L1和L2可以如下计算:
L1=d/sin(a1);并且 (5)
L2=d/sin(a2)。 (6)
再次参考图4,电子装置通过基于检测到的对象角度a1、a2来调整声束,从而为主扬声器和从扬声器中的每个扬声器配置束角420。电子装置通过基于计算出的距离L1、L2来调整声束强度和传播延迟,从而为主扬声器和从扬声器配置波束强度和传播延迟422。使用所配置的束角、波束强度和传播延迟来执行424波束形成。在波束形成之后,电子装置返回其“等待”状态402。
当收听环境中存在多个人时,电子装置会识别用户做出的第一手势,以正确地将用户识别为要跟踪的对象。在检测到第一手势时,已经提醒电子装置该用户想要配置最佳听音位置。电子装置一旦检测到第二手势,就会将用户的当前位置锁定为最佳听音位置。
可能有与电子装置相关联的多种操作模式。例如,扫描锁定模式、扫描跟随模式以及聚会模式。例如,使用移动应用程序在电子装置上配置操作模式。用户选择模式,并且一旦选择,检测装置就将检测对象、跟踪移动并检测与该模式设置相关联的手势。
扫描锁定模式可以提供稳定的声音质量。图5示出了扫描锁定模式的示例500。用户512执行第一手势和第二手势以设置最佳听音位置的目标位置510,并且发生将音频束调整设置配置为目标位置510的操作。一旦设置,即使当用户512移动到诸如位置514时,最佳听音位置目标位置510的波束调整设置也将保持在目标位置。波束形成被定向到最佳听音位置的目标位置510,并且保持直到用户再次执行第一手势和第二手势的时间点。
在图6中示出了用于扫描跟随模式的示例600。在扫描跟随模式中,最佳听音位置610的目标位置跟随所跟踪的用户的位置。在该模式下,用户612执行第一手势和第二手势。一旦系统识别到两个手势,电子装置就将跟踪用户612,不断调整最佳听音位置的波束形成配置,以便声束620跟随用户612到达多个位置614、616、618。在“聚会”模式下,实际上没有最佳听音位置的目标位置。扬声器会将音频广播到整个360°。
为了执行图4中描述的方法,第一扬声器和第二扬声器需要能够检测人类用户的角度以指示束角和距离,从而调整波束强度和传播延迟。首先,需要扬声器上的传感器识别对象是人并检测用户执行的第一手势和第二手势。其次,电子装置的处理器102可以收集由传感器120检测到的对象角度a1和a2,并计算到对象的距离L1、L2。为了收集角度并计算距离,电子装置跟踪用户。
如上所述,传感器120可以是基于相机的,诸如RGB相机或热相机。RGB型相机对于识别和跟踪人非常有效。然而,由于可能会暴露来自专用网络的非常清晰的图像,因此可能存在隐私问题。热相机是一种能够检测和跟踪人而不会显示清晰图像的替代方案。然而,热相机的成本比RGB相机高得多。
使用DVS的位置节点跟踪
传感器120的另一种替代方案是动态视觉传感器(DVS)。DVS以足够的分辨率检测对象运动,同时隐藏对象的清晰图像并解决隐私问题。此外,成本低于热相机。主扬声器202和从扬声器204中的每个扬声器可以具有四个DVS以创建360°视场(FOV)来检测对象和手势。
用DVS执行对象和手势检测可以通过融合技术来完成,该融合技术将具有不同时间戳的几个事件帧组合为提供对象时间图像的单个帧。对于对象检测,该帧被馈送到神经网络的处理器,并通过用于对象识别的预训练模型来执行对象识别。手势检测通过另一个用于对象分类的预训练模型来执行。对于手势检测,手势的区域小于对象的区域,因此图像被放大以进行更精确的检测。
然而,DVS是基于事件的传感器,它仅感测每个像素上的光线变化,并发送具有时间戳和像素位置的事件包。电子装置收集事件包并将它们重新组合为图像帧以进行融合。由于DVS仅检测移动的对象,因此如果对象停止移动,它可能会失去跟踪。因此,提出了位置节点跟踪作为应用于RGB型相机的跟踪算法的替代方案。
参考图7,描述了用于电子装置100的位置节点跟踪的方法700,其中用于检测收听环境中的对象和手势的检测装置中的传感器120是一个或多个DVS。对于扬声器的360°视场(FOV),检测装置将由四个DVS组成。将位置节点跟踪应用于本文前面参考图4所讨论的对象和手势检测步骤。检测装置扫描收听环境,并且在检测702到一个或多个移动对象时,电子装置创建704一个或多个临时位置节点。所创建的临时位置节点的数量将取决于与检测到的每个对象相关联的边界框,以及任何边界框是否重叠。
每当创建704临时位置节点时,电子装置就在现有节点池706中搜索在先前时间戳中创建的位置节点,以确定临时位置节点是否在节点池中当前存在的任何现有位置节点附近708。如果任何临时节点在预定范围内接近节点池710中已经存在的节点,则电子装置将该临时节点视为已移动至新位置的现有节点,并创建新节点712,将现有节点从节点池中删除714,并将新节点添加到节点池716。如果在附近没有发现现有节点718,则该临时节点被认为是新节点。创建720新节点并将新节点添加到节点池716。
当将新节点添加到节点池时,将定时器设置722为预定时间。在该预定时间(例如两分钟)内,节点在节点池中保持活动状态。电子装置使用定时器继续跟踪724节点池中的节点内发生的任何活动。如果用于节点池中的节点的定时器到期726,则意味着位置节点中不存在任何移动,并且可以假定不再需要跟踪位置节点。例如,用户可能已经离开该区域或者可能已经入睡。为了节省计算资源,具有到期定时器的位置节点将从节点池中删除728,并且不再被跟踪。一个活跃的人应该在预定时间内有至少轻微的移动,这足以触发DVS并重置与位置节点相关联的定时器。定时器是持续跟踪用户的关键。
图8至图11示出了根据用于位置节点跟踪的规则的方法的位置节点跟踪的应用。使用定时器而不是对象来跟踪位置节点是使用DVS进行位置节点跟踪的第一条规则。在图8中,围绕两个对象804创建位置节点802,其中定时器设置了预定时间,诸如两分钟。如果任一个对象超过两分钟没有移动806,则将从节点池中删除位置节点802。如果在定时器到期之前对象中的至少一个在现有位置节点内移动808,则定时器将被重置另外两分钟的预定时间,并且位置节点802在节点池中保持活动状态并且跟踪继续。
现在考虑对象移动到现有位置节点之外但仍在附近的情况。将对象移动转换为节点轨迹以降低对象跟踪的复杂度是使用DVS进行位置节点跟踪的第二条规则。在图9中,围绕单个对象904创建位置节点902。如果对象904移动到现有位置节点附近的新位置,则创建新位置节点906以替换现有位置节点902。将新节点906添加到节点池,并且将现有位置节点902从节点池中删除。
使用DVS进行位置节点跟踪的第三条规则是,对于检测到但彼此不接近的对象,电子装置会同时跟踪多个节点。图10是围绕两个对象1004a和1004b创建位置节点1002的情况。当一个对象1004b从位置节点1002移出时,将创建一个新的位置节点1006,并保留原始位置节点1002。位置节点仅覆盖一定范围。因此,如果两个对象彼此不在范围内,则两个节点1002、1006同时存在于节点池中,并由它们各自的定时器跟踪。
使用DVS进行位置节点跟踪的第四条规则是,一旦多于一个对象彼此靠近,则仅需要跟踪节点中的一个,从而降低了跟踪的复杂度。图11是这样的情况,其中创建了用于对象1104a的位置节点1102并且创建了用于对象1104b的位置节点1106并且两者在节点池中都是活动的。对象1104a和1104b可能正在移动,并且DVS将检测它们何时靠近彼此。在这种情况下,两个对象1104a和1104b的节点1102和1106将合并为一个位置节点,例如1102。将为节点1102重置定时器,并且该节点将在节点池中保持活动状态。如图11中的虚线所示,其余位置节点1106在其定时器到期时从节点池中删除。
使用规则一至四,电子装置可以跟踪所有活动节点并放大某些区域以进行手势检测。这提高了手势检测的准确性,同时还解决了对不移动对象的跟踪丢失的问题。
深度检测和自动校准
在检测到用户并确定用户想要调整最佳听音位置后,电子装置必须确定用户的角度以便引导声束,并且必须确定到用户的距离以便调整波束强度和传播延迟因子。当每个检测装置在传感器120上定位位置节点的x-y坐标时,可以确定相对角度。然而,无法从x-y坐标的值确定对象的深度。在大多数情况下,双目相机用于基于已知基线来计算深度。在本示例中,使用第一检测装置206和第二检测装置208,可以确定基线而无需双目相机。尽管本示例针对一对波束形成扬声器,但是应当注意,它也可以应用于使用深度检测来进行对象检测的其他系统。
图12示出了一对扬声器,主扬声器202和从扬声器204,每个扬声器分别具有检测装置1202a、1202b。安装系统后,每个检测装置1202a和1202b具有两到四个DVS以生成180°/360°FOV,并且可以通过在其FOV中定位对象来检测或测量其自身的角度值a1、a2,采用已知的D1值、测量的a1和a2值,并将它们馈入三角函数,电子装置可以计算深度L1和L2,如上参考图3所述。然而,可能需要获取基线D1,而不必手动测量。例如,当检测装置的位置已从原始安装改变时。在下文中描述的系统自动校准检测装置的相对位置和电子装置的基线D1。
现在参考图13,从扬声器204结合有多个光源,例如配置在LED环1300上的LED。LED环1300上的LED位于环上并产生已知的光点图案。在校准期间,LED一一闪烁,触发主扬声器上的检测设置。可以使用LED追踪电路使LED同时闪烁一次。主扬声器上的检测装置捕获闪烁的光点,以创建检测到的光点图案的图像。电子装置将所捕获的图像与校准图案数据库中的图像进行比较,并根据比较结果确定相对位置和基线D1(主扬声器与从扬声器之间的距离)。LED可以是红外的,因此人眼看不见它们。
图14A和图14B示出了当主扬声器和从扬声器204彼此直接相对但从扬声器204与主扬声器的距离不同时,由主扬声器上的检测装置捕获的LED图案的示例。在图14A中,主扬声器(未示出)和从扬声器204彼此隔开短距离。当LED环1300上的LED闪烁时,通过捕获在扬声器上的检测装置处的图像来在主扬声器上创建图像1400。将图像1400与已知图案进行比较,并且确定主扬声器与从扬声器之间的相对距离。
在图14B中,主扬声器(未示出)和从扬声器204彼此隔开较长距离。如上所述创建图像1402。来自图14A的图像1400示出了由主扬声器检测装置检测到的LED图案,该LED图案与图14B中的图像1402所示的在较小区域中散布的较密集图案相比,较稀疏并且散布在较大区域中。
图15A和图15B示出了当从扬声器204未直接与主扬声器水平地相对并且与主扬声器成不同的相对角度时由主扬声器(未示出)捕获的LED图案的示例。在图15A中,从扬声器204定位成在主扬声器一侧上方一定角度。LED图案1500将在主扬声器的上部区域上被检测到。在图15B中,从扬声器定位成在主扬声器一侧下方一定角度。LED图案1502在主扬声器的底部区域上被检测到。
电子装置具有存储在存储器中的、与主扬声器与从扬声器之间的特定距离有关的已知校准图案的数据库。例如,存储用于间隔开两英尺的主扬声器与从扬声器对的校准图案,存储用于间隔开五英尺的主扬声器与从扬声器对的校准图案,存储用于间隔开10英尺的主扬声器与从扬声器对的校准图案,等等。当将检测到的图案与校准图案进行比较时,匹配将指示主扬声器与从扬声器之间的距离和相对角度。当未与数据库中的校准图案进行匹配时,电子装置将应用插值法来确定距离和相对角度。
图16是用于深度检测和校准的方法的流程图1600。从扬声器上的LED环被激活,以使光源(例如LED)同时连续闪烁一次1602。在主扬声器上的检测装置检测光点1604并创建检测到的图案1606。将检测到的图案与已知校准图案的数据库进行比较1608。基于比较结果、匹配或应用插值法,确定1610主扬声器和从扬声器的距离和相对角度。使用在步骤1610中确定的距离和相对角度来计算和设置1612基线参数D1。三角函数可以用来计算基线参数D1,如本文前面参考图3和图12所讨论的。
在前述的说明书中,本公开已参考特定示例性实施方案进行描述。说明书和附图是说明性的,而非限制性的,并且修改旨在包括在本公开的范围内。因此,本公开的范围应当由权利要求和它们的法律上等效物确定,而非仅由所描述的实例确定。
例如,任何方法或过程权利要求中列举的步骤可以按任何顺序执行,并且不限于在权利要求中呈现的特定顺序。另外,任何设备权利要求中陈述的部件和/或元件可组装或以其他方式可操作地配置成各种置换形式,并且因此并不限于权利要求中陈述的特定配置。
上文已经关于特定实施方案描述了益处、其他优点和问题解决方案;然而,任何益处、优点、问题解决方案或可引起任何特定益处、优点或解决方案发生或变得更加显著的任何要素不应解释为任何或所有权利要求的关键的、所要求的或必要的特征或部件。
术语“包括”、“包含”、“含有”、“具有”或其任何变型旨在引用非排他性的包含,使得包括要素列表的过程、方法、制品、组成或设备不仅包含所陈述的那些要素,而且还可以包含未明确列出的或此类过程、方法、制品、组成或设备固有的其他要素。在本公开的实践中使用的上述结构、布置、应用、比例、元素、材料或部件的其他组合和/或修改,除了未具体陈述的那些之外,均可以在不背离其基本原理的情况下进行改变或者使其具体适应特定的环境、制造规范、设计参数或其他操作需要。

Claims (18)

1.一种方法,包括:
跟踪一个或多个移动对象的位置节点,所述跟踪包括扫描一个或多个移动对象,检测一个或多个移动对象,围绕一个或多个检测到的移动对象创建临时位置节点,在节点池中搜索所述临时位置节点附近的现有位置节点,为所述临时位置节点附近的所述现有位置节点设置定时器,所述定时器具有预定的时间限制,并且为不在现有位置节点附近的临时位置节点设置定时器,创建添加到所述节点池的新位置节点并设置与所述新位置节点相关联的定时器,与所述新位置节点相关联的所述定时器具有预定的时间限制。
2.如权利要求1所述的方法,其中当现有位置节点中的所述对象在与所述现有位置节点相关联的所述定时器到期之前都不移动时,所述现有位置节点从所述节点池中删除。
3.如权利要求1所述的方法,其中当现有位置节点中的所述对象中的至少一个在与所述现有位置节点相关联的所述定时器到期之前移动时,与所述现有位置节点相关联的所述定时器被重置,并且所述现有位置节点保留在所述节点池中。
4.如权利要求1所述的方法,其中当现有位置节点中的所述对象中的至少一个移动到所述现有位置节点之外但仍在所述现有位置节点附近时,创建新位置节点来替换所述现有位置节点,并且设置与所述新位置节点相关联的定时器,所述现有位置节点从所述节点池中删除。
5.如权利要求1所述的方法,其中当现有位置节点中的所述对象中的至少一个移动到所述现有位置节点之外的位置时,创建新位置节点来替换所述现有位置节点,设置与所述新位置节点相关联的定时器,并且所述现有位置节点保留与所述现有位置节点相关联的所述定时器的持续时间。
6.如权利要求1所述的方法,其中当在所述节点池中存在两个或更多个现有位置节点并且一个或多个对象彼此靠近时,所述两个或更多个现有位置节点合并为一个位置节点,与所述一个位置节点相关联的定时器将被重置,并且其他现有位置节点将从所述节点池中删除。
7.一种系统,包括:
处理器;
检测装置,所述检测装置具有用于检测移动对象的至少一个动态视觉传感器;
所述处理器包括存储在非暂时性存储器中的计算机可读指令,所述计算机可读指令用于:
使用所述检测装置扫描移动对象;
使用所述检测装置检测一个或多个移动对象;
围绕一个或多个移动对象创建临时位置节点;
在节点池中搜索所述临时位置节点附近的现有位置节点;
当确定所述临时位置节点在所述现有位置节点附近时,设置与所述现有位置节点相关联的定时器;
当确定所述临时位置节点不在所述现有位置节点附近时,创建新位置节点;
将所述新位置节点添加到所述节点池;
设置与所述新位置节点相关联的定时器;
跟踪定时器未到期的位置节点;以及
删除定时器到期的位置节点。
8.如权利要求7所述的系统,其中所述处理器还包括用于执行以下操作的指令:确定现有位置节点中的所述对象在与所述现有位置节点相关联的所述定时器到期之前何时都不移动,以及从所述节点池中删除所述现有位置节点。
9.如权利要求7所述的系统,其中所述处理器还包括用于执行以下操作的指令:确定现有位置节点中的所述对象中的至少一个在与所述现有位置节点相关联的所述定时器到期之前何时移动,以及重置与所述现有位置节点相关联的所述定时器。
10.如权利要求7所述的系统,其中所述处理器还包括用于执行以下操作的指令:确定现有位置节点中的所述对象中的至少一个何时移动到所述现有位置节点之外但仍在所述现有位置节点附近,创建新位置节点来替换所述现有位置节点,设置与所述新位置节点相关联的定时器,以及从所述节点池中删除所述现有位置节点。
11.如权利要求7所述的系统,其中所述处理器还包括用于执行以下操作的指令:确定现有位置节点中的所述对象中的至少一个何时移动到所述现有位置节点之外的位置,创建新位置节点来替换所述现有位置节点,设置与所述新位置节点相关联的定时器,继续跟踪所述现有位置节点与所述现有位置节点相关联的所述定时器的持续时间。
12.如权利要求7所述的系统,其中所述处理器还包括用于执行以下操作的指令:确定在所述节点池中何时存在两个或更多个现有位置节点并且一个或多个对象彼此靠近,将所述两个或更多个现有位置节点合并为所述现有位置节点中的一个,重置与所述现有位置节点中的所述一个相关联的定时器;以及从所述节点池中删除被合并为所述现有位置节点中的所述一个的其他现有位置节点。
13.一种方法,包括:
扫描移动对象;
检测一个或多个移动对象;
围绕一个或多个移动对象创建临时位置节点;
在节点池中搜索所述临时位置节点附近的现有位置节点;
当确定所述临时位置节点在所述现有位置节点附近时,设置与所述现有位置节点相关联的定时器;
当确定所述临时位置节点不在所述现有位置节点附近时,创建新位置节点;
将所述新位置节点添加到所述节点池;
设置与所述新位置节点相关联的定时器;
跟踪定时器未到期的位置节点;以及
删除定时器到期的位置节点。
14.如权利要求13所述的方法,其中当现有位置节点中的所述对象在与所述现有位置节点相关联的所述定时器到期之前都不移动时,所述方法还包括从所述节点池中删除所述现有位置节点。
15.如权利要求13所述的方法,其中当现有位置节点中的所述对象中的至少一个在与所述现有位置节点相关联的所述定时器到期之前移动时,所述方法还包括重置与所述现有位置节点相关联的所述定时器。
16.如权利要求13所述的方法,其中当现有位置节点中的所述对象中的至少一个移动到所述现有位置节点之外但仍在所述现有位置节点附近时,所述方法还包括:
创建新位置节点来替换所述现有位置节点;
设置与所述新位置节点相关联的定时器;以及
从所述节点池中删除所述现有位置节点。
17.如权利要求13所述的方法,其中当现有位置节点中的所述对象中的至少一个移动到所述现有位置节点之外的位置时,所述方法还包括:
创建新位置节点来替换所述现有位置节点;
设置与所述新位置节点相关联的定时器;以及
继续跟踪所述现有位置节点与所述现有位置节点相关联的所述定时器的持续时间。
18.如权利要求13所述的方法,其中当在所述节点池中存在两个或更多个现有位置节点并且一个或多个对象彼此靠近时,所述方法还包括:
将所述两个或更多个现有位置节点合并为所述现有位置节点中的一个;
重置与所述现有位置节点中的所述一个相关联的定时器;以及
从所述节点池中删除被合并为所述一个现有位置节点的其他现有位置节点。
CN202110143303.9A 2020-02-24 2021-02-02 位置节点跟踪 Pending CN113301493A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US16/799,720 US20210266663A1 (en) 2020-02-24 2020-02-24 Automatic beamforming
US16/799,720 2020-02-24
US16/799,731 2020-02-24
US16/799,746 2020-02-24
US16/799,731 US11393101B2 (en) 2020-02-24 2020-02-24 Position node tracking
US16/799,746 US10869149B1 (en) 2020-02-24 2020-02-24 Automatic calibration

Publications (1)

Publication Number Publication Date
CN113301493A true CN113301493A (zh) 2021-08-24

Family

ID=74668642

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110143303.9A Pending CN113301493A (zh) 2020-02-24 2021-02-02 位置节点跟踪
CN202110193497.3A Pending CN113301481A (zh) 2020-02-24 2021-02-20 自动校准
CN202110193523.2A Pending CN113301479A (zh) 2020-02-24 2021-02-20 自动波束形成

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202110193497.3A Pending CN113301481A (zh) 2020-02-24 2021-02-20 自动校准
CN202110193523.2A Pending CN113301479A (zh) 2020-02-24 2021-02-20 自动波束形成

Country Status (2)

Country Link
EP (3) EP3869829B1 (zh)
CN (3) CN113301493A (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0304126D0 (en) * 2003-02-24 2003-03-26 1 Ltd Sound beam loudspeaker system
FI20060910A0 (fi) * 2006-03-28 2006-10-13 Genelec Oy Tunnistusmenetelmä ja -laitteisto äänentoistojärjestelmässä
US20080273087A1 (en) * 2007-05-02 2008-11-06 Nokia Corporation Method for gathering and storing surveillance information
WO2011022577A1 (en) * 2009-08-20 2011-02-24 Purdue Research Foundation Predictive duty cycle adaptation scheme for event-driven wireless sensor networks
ES2558558T3 (es) * 2011-12-16 2016-02-05 Gestigon Gmbh Procedimiento y dispositivo para la estimación de una postura
JP6201993B2 (ja) * 2012-07-06 2017-09-27 日本電気株式会社 タイマの満了期間の決定方法、ネットワークノード、及びプログラム
US10225680B2 (en) * 2013-07-30 2019-03-05 Thomas Alan Donaldson Motion detection of audio sources to facilitate reproduction of spatial audio spaces
US20150117830A1 (en) * 2013-10-30 2015-04-30 Google Inc. Light tracks for media content
US20180060025A1 (en) * 2016-08-31 2018-03-01 Harman International Industries, Incorporated Mobile interface for loudspeaker control
US10469973B2 (en) * 2017-04-28 2019-11-05 Bose Corporation Speaker array systems
WO2019183727A1 (en) * 2018-03-27 2019-10-03 Avidbots Corp Safety systems for semi-autonomous devices and methods of using the same
CN208798169U (zh) * 2018-05-30 2019-04-26 辽宁因泰力科技有限公司 一种音箱及其定位校准器

Also Published As

Publication number Publication date
CN113301479A (zh) 2021-08-24
EP3869829B1 (en) 2024-03-27
EP3869827A1 (en) 2021-08-25
CN113301481A (zh) 2021-08-24
EP3869829A1 (en) 2021-08-25
EP3869828A1 (en) 2021-08-25
EP3869828B1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
CN110301118B (zh) 用于智能助理计算设备的位置校准
US11412108B1 (en) Object recognition techniques
EP3400705B1 (en) Active speaker location detection
US9196067B1 (en) Application specific tracking of projection surfaces
US20140362253A1 (en) Beamforming method and apparatus for sound signal
US9336602B1 (en) Estimating features of occluded objects
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
US8845107B1 (en) Characterization of a scene with structured light
JP2019526956A (ja) オーディオ、ビジュアル及びモーション分析を備えたデジタルカメラ
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
CN109167893A (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN111553196A (zh) 检测隐藏摄像头的方法、系统、装置、以及存储介质
CN107479710A (zh) 智能镜及其控制方法、装置、设备及存储介质
KR20170040222A (ko) 반사 기반 제어 활성화 기법
KR102578695B1 (ko) 복수의 디바이스들을 관리하는 방법 및 전자 디바이스
US20210266663A1 (en) Automatic beamforming
US20190310366A1 (en) Collaborative mapping of a space using ultrasonic sonar
CN113301493A (zh) 位置节点跟踪
US10869149B1 (en) Automatic calibration
CN109218620B (zh) 基于环境亮度的拍照方法、装置、存储介质及移动终端
US11393101B2 (en) Position node tracking
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
CN115061380A (zh) 设备控制方法、装置、电子设备及可读存储介质
US9915528B1 (en) Object concealment by inverse time of flight
CN113473306A (zh) 定向录音方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination