CN117501212A - 信号处理装置、信号处理方法、记录介质和信号处理系统 - Google Patents

信号处理装置、信号处理方法、记录介质和信号处理系统 Download PDF

Info

Publication number
CN117501212A
CN117501212A CN202280042810.6A CN202280042810A CN117501212A CN 117501212 A CN117501212 A CN 117501212A CN 202280042810 A CN202280042810 A CN 202280042810A CN 117501212 A CN117501212 A CN 117501212A
Authority
CN
China
Prior art keywords
recognition
signal processing
vibration
vehicle
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280042810.6A
Other languages
English (en)
Inventor
今村洋
长良彻
友永诚史
高松孝至
长田浩二
竹内宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117501212A publication Critical patent/CN117501212A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions

Abstract

本技术涉及使得能够正确地识别使用手势的操作的信号处理装置、信号处理方法、记录介质和信号处理系统。按照本技术的信号处理装置包括设定单元,所述设定单元被配置为基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法,以及操作识别单元,所述操作识别单元被配置为按照由所述设定单元设定的识别方法来识别由用户进行的手势所指示的操作。操作识别单元识别在由配备有所述信号处理装置的车辆中的用户进行的手势所指示的操作。例如,本技术适用于控制设置在车辆中的显示装置的信号处理装置。

Description

信号处理装置、信号处理方法、记录介质和信号处理系统
技术领域
本技术涉及信号处理装置、信号处理方法、记录介质和信号处理系统,更具体地,涉及使得能够正确地识别使用手势的操作的信号处理装置、信号处理方法、记录介质和信号处理系统。
背景技术
在实现自动驾驶车辆操作的情况下,乘员不需要驾驶,从而乘员可以在车内自由地度过他/她的时间。在自由时间期间,例如,可以使用显示装置长时间观看视频内容。在距离显示装置一定距离观看视频内容的情况下,假设使用手势操作显示装置而不触摸物理按钮。
例如,在通过将指尖指向用户界面(UI)显示来操作数字装置的情况下,车辆的振动会导致UI显示或指尖抖动,这可能干扰数字装置的正确操作。
另一方面,专利文献1公开一种利用加速度传感器检测车辆的振动,并基于检测到的振动来变更触摸操作有效区域的大小的技术。
引文列表
专利文献
专利文献1:日本专利申请公开No.2016-126556
发明内容
本发明要解决的问题
在专利文献1中公开的技术中,检测到的振动状态被反馈到UI。然而,在将专利文献1中公开的技术应用于在车辆中进行的操作的情况下,振动状态在振动发生之后被反馈到UI,使得在振动状态被反映在UI中之前发生延迟,从而不一定导致有效的改进。
鉴于这样的状况产生了本技术,于是,本技术的目的是使得能够正确地识别使用手势的操作。
问题的解决方案
按照本技术的第一方面的信号处理装置包括:
设定单元,所述设定单元被配置为基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法;和
操作识别单元,所述操作识别单元被配置为按照由所述设定单元设定的识别方法来识别由用户进行的手势所指示的操作。
按照本技术的第二方面的信号处理系统包括:
信号处理装置,所述信号处理装置包括设定单元和操作识别单元,所述设定单元被配置为基于指示预测未来要发生的振动的振动数据来设定用于识别使用手势的操作的识别方法,所述操作识别单元被配置为按照由所述设定单元设定的识别方法来识别由用户进行的手势所指示的操作;和
显示装置,所述显示装置包括显示单元,所述显示单元被配置为显示对其进行了使用手势的所述操作的图像。
在本技术的第一方面,基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法,并且按照设定的识别方法来识别由用户进行的手势所指示的操作。
在本技术的第二方面,基于指示预测未来要发生的振动的振动数据来设定用于识别使用手势的操作的识别方法,按照设定的识别方法来识别由用户进行的手势所指示的操作,并且显示对其进行了使用手势的操作的图像。
附图说明
图1是图解说明按照本技术的实施例的振动数据管理系统的构成例子的示图。
图2是图解说明振动数据管理系统中的数据流的示图。
图3是图解说明前行车辆的乘员如何进行使用手势的操作的示图。
图4是图解说明目标车辆和后续车辆的乘员如何分别进行使用手势的操作的示图。
图5是图解说明服务器的构成例子的框图。
图6是图解说明前行车辆的构成例子的框图。
图7是图解说明目标车辆的构成例子的框图。
图8是图解说明振动模式分析单元的详细构成例子的框图。
图9是图解说明如何对振动模式进行分类的例子和UI校正数据的例子的示图。
图10是图解说明如何校正用于识别操作的识别方法的例子的示图。
图11是图解说明如何校正用于识别操作的识别方法的另一个例子的示图。
图12是图解说明UI显示控制单元的详细构成例子的框图。
图13是用于描述由前行车辆和服务器进行的处理的流程图。
图14是用于描述由目标车辆和服务器进行的处理的流程图。
图15是用于描述UI校正数据生成处理的流程图。
图16是用于描述操作确定处理的流程图。
图17是图解说明UI显示控制单元的另一个构成例子的框图。
图18是图解说明振动模式分析单元的另一个构成例子的框图。
图19是用于描述由目标车辆和服务器进行的处理的流程图。
图20是用于描述成功率计算处理的流程图。
图21是图解说明计算机的硬件的构成例子的框图。
具体实施方式
在下文中,将描述用于实施本技术的模式。注意,将按照以下顺序进行描述。
1.振动数据管理系统
2.各个装置的配置
3.各个装置的操作
4.变形例
<<1.振动数据管理系统>>
图1是图解说明按照本技术的实施例的振动数据管理系统的构成例子的示图。
图1中图解所示的振动数据管理系统由通过诸如因特网之类的网络连接到服务器1的车辆2A~2C构成。
服务器1管理表示在车辆2A~2C中检测到的振动的振动数据。
车辆2A~2C分别配备有信号处理装置、显示装置、加速度传感器等。信号处理装置再现视频内容等以将视频内容等显示在显示装置上。显示装置在信号处理装置的控制下显示视频内容或显示用于操作信号处理装置等的UI。加速度传感器检测车辆2A~2C中的每一个的振动。
车辆2A~2C中的每一个的乘员(用户)可以使用手势来操作显示装置或信号处理装置。注意,在下文中,在不需要区分车辆2A~2C的情况下,车辆2A~2C被简称为车辆2。
在图1中,三辆车辆2A~2C连接到服务器1,但是实际上,任何数量的车辆2连接到服务器1,并且表示在每辆车辆2中检测到的振动的振动数据由服务器1管理。
图2是图解说明振动数据管理系统中的数据流的示图。
在图2中图解所示的例子中,车辆2A~2C按照车辆2A、车辆2B和车辆2C的顺序行驶经过同一位置。在下文中,车辆2A也被称为前行车辆2A,车辆2B也被称为目标车辆2B,车辆2C也被称为后续车辆2C。在下文中,除非另有说明,否则将描述前行车辆2A、目标车辆2B和后续车辆2C是同一车型的情况。
图3是图解说明前行车辆2A的乘员如何进行使用手势的操作的示图。
在图3中图解所示的例子中,由设置在前行车辆2A中的显示装置11A显示视频内容。前行车辆2A的乘员U1通过例如将他/她的指尖指向在前行车辆2A中的显示装置11A上的预定位置,可以控制信号处理装置。
在行驶时,前行车辆2A经受由道路不平等引起的振动。如图3中图解所示,前行车辆2A的振动导致显示装置11A或乘员U1的指尖抖动。即使乘员试图将指尖指向视频内容的预定范围,显示装置11A或指尖的抖动也会导致指尖所指向的范围移动,例如,如三个虚线椭圆所示。于是,识别为指尖指向的范围是不稳定的,并且信号处理装置可能进行与乘员U1的意图不同的操作。
另一方面,在前行车辆2A在行驶时检测到振动的情况下,如图2中的箭头A1所示,前行车辆2A将指示检测到的振动的振动数据连同指示前行车辆2A的车型的车辆信息和指示前行车辆2A正行驶在的位置的位置信息一起发送到服务器1。
服务器1将从前行车辆2A发送的振动数据与由位置信息指示的地图数据上的位置相关联地存储所述振动数据。地图数据是供服务器1集中管理在多个位置的振动数据等的数据。即,振动数据被存储为在车辆2A正行驶在的位置的行驶数据。
如箭头A2所示,目标车辆2B从服务器1获取与指示未来行驶位置的预测位置相关联的振动数据。例如,从服务器1获取由车型与目标车辆2B的车型对应的车辆2获取的振动数据。与目标车辆2B的车型对应的车型例如是与目标车辆2B的车型相同的车型或与目标车辆2A的车型类似的车型。这里,从服务器1获取由前行车辆2A获取的振动数据。
目标车辆2B基于从服务器1获取的振动数据,分析预测会在预测位置发生的振动的模式和幅度,并且按照分析振动的结果来变更用于识别使用手势的操作的识别方法。如箭头A3所示,目标车辆2B将用于变更用于识别操作的识别方法的UI校正数据连同指示在预测位置实际检测到的振动的振动数据一起发送到服务器1。指示目标车辆2B的车型的车辆信息和指示目标车辆2B正行驶在的位置的位置信息连同振动数据和UI校正数据一起发送到服务器1。
服务器1将从目标车辆2B发送的振动数据和UI校正数据与由位置信息指示的地图数据上的位置相关联地存储所述振动数据和UI校正数据。结果,由前行车辆2A获取的振动数据以及由目标车辆2B获取的振动数据和UI校正数据与一个位置相关联。
如箭头A4所示,后续车辆2C从服务器1获取与预测位置相关联的振动数据和UI校正数据。这里,从服务器1获取由前行车辆2A获取的振动数据和由目标车辆2B获取的振动数据。此外,从服务器1获取在目标车辆2B中使用的UI校正数据。
后续车辆2C基于从服务器1获取的振动数据来分析在预测位置发生的振动的模式和幅度,并且按照分析振动的结果来变更用于识别使用手势的操作的识别方法。此外,后续车辆2C基于从服务器1获取的UI校正数据,根据需要校正用于识别操作的识别方法。
图4是图解说明目标车辆2B和后续车辆2C的乘员如何分别进行使用手势的操作的示图。
在图4的A中图解所示的例子中,由设置在目标车辆2B中的显示装置11B显示视频内容。与前行车辆2A的乘员U1类似,目标车辆2B的乘员U2在目标车辆2B中通过将他/她的指尖指向显示装置11B上的预定位置,可以控制信号处理装置。
如图4的A中图解所示,即使显示装置11B或乘员U2的指尖由于目标车辆2B的振动而抖动,例如,通过扩展其被识别为操作的范围使信号处理装置可以将由两个虚线椭圆指示的范围中的任意一个识别为指尖所指向的范围。结果,目标车辆2B可以比前行车辆2A更稳定地识别将指尖指向显示装置11B的操作,并且可以防止例如在突然发生振动时识别出与乘员U2预期的操作不同的操作。
在图4的B中图解所示的例子中,由设置在后续车辆2C中的显示装置11C显示视频内容。与前行车辆2A的乘员U1和目标车辆2B的乘员U2类似,后续车辆2C的乘员U3在后续车辆2C中通过将他/她的指尖指向显示装置11C上的预定位置,可以控制信号处理装置。
如图4的B中图解所示,即使显示装置11C或乘员U3的指尖由于后续车辆2C的振动而抖动,例如,考虑到振动的影响来变更用于识别使用手势的操作的识别方法使信号处理装置可以将由一个虚线椭圆指示的范围识别为指尖所指向的范围。后续车辆2C通过除了振动数据之外还使用UI校正数据,可以比前行车辆2A和目标车辆2B更稳定地识别将指尖指向显示装置11C的操作。结果,后续车辆2C可以更可靠地防止在发生振动时识别出与乘员U3预期的操作不同的操作。
如上所述,目标车辆2B和后续车辆2C能够在振动强度动态变化的行驶期间提供稳定的操作环境。例如,按照振动的模式或幅度动态地变更用于识别操作的识别方法使乘员可以舒适地使用显示内容,而无需手动变更用于识别操作的识别方法的设定以适应行驶环境。
<<2.各个装置的构成>>
<服务器的构成>
图5是图解说明服务器1的构成例子的框图。
如图5中图解所示,服务器1包括数据接收单元21、振动数据管理单元22和数据发送单元23。
数据接收单元21接收从车辆2发送的振动数据、车辆信息、位置信息和UI校正数据,并将振动数据、车辆信息、位置信息和UI校正信息提供给振动数据管理单元22。
振动数据管理单元22将从数据接收单元21提供的振动数据和UI校正数据与由位置信息指示的地图数据上的位置相关联地存储所述振动数据和UI校正数据。振动数据管理单元22利用车辆信息标记振动数据。
响应于来自车辆2的请求,数据发送单元23从振动数据管理单元22获取与车辆2的预测位置相关联的振动数据和UI校正数据,并将振动数据和UI校正数据发送到车辆2。
<前行车辆的构成>
图6是图解说明前行车辆2A的构成例子的框图。
如图6中图解所示,前行车辆2A包括振动数据获取单元31、加速度传感器32、全球导航卫星系统(GNSS)接收器33和数据发送单元34。前行车辆2A的构成的一部分通过由设置在前行车辆2A中的信号处理装置执行的预定程序来实现。
振动数据获取单元31从加速度传感器32获取振动数据,并从GNSS接收器33获取位置信息。振动数据获取单元31将振动数据与位置信息和车辆信息相关联地将振动数据提供给数据发送单元34。
加速度传感器32检测在前行车辆2A中产生的振动,获取指示检测振动的结果的振动数据,并将振动数据提供给振动数据获取单元31。
GNSS接收器33基于从GNSS卫星接收的信号来检测前行车辆2A的行驶位置,获取指示检测行驶位置的结果的位置信息,并将位置信息提供给振动数据获取单元31。
数据发送单元34将从振动数据获取单元31提供的振动数据连同位置信息和车辆信息一起发送到服务器1。
注意,在图6中,作为前行车辆2A的构成,仅仅描述了用于获取振动数据并将振动数据发送到服务器1的构成,但是在前行车辆2A中也可以设置用于显示UI的构成。在这种情况下,在前行车辆2A中设置与后面描述的目标车辆2B的构成类似的构成。
<目标车辆的构成>
·整体构成
图7是图解说明目标车辆2B的构成例子的框图。
如图7所示,目标车辆2B包括数据接收单元41、振动模式分析单元42、加速度传感器43、GNSS接收器44、UI显示控制单元45、摄像机46、数据发送单元47和显示装置11B。目标车辆2B的构成的一部分通过由设置在目标车辆2B中的信号处理装置执行的预定程序来实现。
数据接收单元41从服务器1获取与目标车辆2B的预测位置相关联的振动数据。具体地,数据接收单元41向服务器1请求标记有指示与目标车辆2B的车型对应的车型的车辆信息的振动数据,以从服务器1获取振动数据。从服务器1获取的振动数据被提供给振动模式分析单元42。
振动模式分析单元42基于从数据接收单元41提供的振动数据,分析在预测位置发生的振动的模式和幅度。振动模式分析单元42基于分析结果生成UI校正数据,并将UI校正数据提供给UI显示控制单元45。
此外,振动模式分析单元42从GNSS接收器44获取位置信息,基于该位置信息确定目标车辆2B的未来行驶位置作为预测位置,并且控制数据接收单元41从服务器1获取与预测位置相关联的振动数据。
此外,振动模式分析单元42从加速度传感器43获取振动数据,并将振动数据与UI校正数据、位置信息和车辆信息相关联地将振动数据提供给数据发送单元47。
加速度传感器43检测在目标车辆2B中产生的振动,获取指示检测振动的结果的振动数据,并将振动数据提供给振动模式分析单元42。
GNSS接收器44基于从GNSS卫星接收的信号检测目标车辆2B的行驶位置,获取指示检测行驶位置的结果的位置信息,并将位置信息提供给振动模式分析单元42。
UI显示控制单元45从摄像机46获取图像数据,并基于图像数据识别乘员所进行的使用手势的操作。此时,UI显示控制单元45基于从振动模式分析单元42提供的UI校正数据校正用于识别操作的识别方法。换句话说,UI显示控制单元45按照由振动模式分析单元42设定的用于识别操作的识别方法来识别乘员所进行的使用手势的操作。
UI显示控制单元45按照乘员所进行的使用手势的操作进行操作。例如,UI显示控制单元45使显示装置11B在车内空间中显示必要的信息或视频内容。
摄像机46设置在目标车辆2B中。摄像机46捕获目标车辆2B的车内空间的图像,获取指示捕获的乘员的运动图像的图像数据,并将图像数据提供给UI显示控制单元45。
数据发送单元47将从振动模式分析单元42提供的振动数据、UI校正数据、位置信息和车辆信息发送到服务器1。
·振动模式分析单元的构成
图8是图解说明振动模式分析单元42的详细构成例子的框图。
如图8中图解所示,振动模式分析单元42包括振动振幅检测单元61、振动频率检测单元62、振动发生频率检测单元63、振动模式分类单元64、操作方法设定单元65、识别范围设定单元66和识别确定时间设定单元67。
相同的振动数据从数据接收单元41被提供给振动振幅检测单元61、振动频率检测单元62和振动发生频率检测单元63。
振动振幅检测单元61检测由振动数据指示的振动的振幅。例如,检测针对每个产生频率产生的振幅的平均值作为振幅。指示振幅的信息被提供给振动模式分类单元64。
振动频率检测单元62检测由振动数据指示的振动的频率。例如,检测振动的产生频率作为频率。指示频率的信息被提供给振动模式分类单元64。
振动发生频率检测单元63检测由振动数据指示的振动的连续性。例如,检测针对每个产生频率产生的振动与单位时间(例如,1秒)的比率作为连续性。此外,振动发生频率检测单元63检测由振动数据指示的振动的随机性。例如,检测振幅等于或大于单位时间内的平均振幅的脉冲的数量或者振幅的方差中的至少一个作为随机性。指示连续性和随机性的信息被提供给振动模式分类单元64。
如上所述,振动振幅检测单元61、振动频率检测单元62和振动发生频率检测单元63基于振动数据量化指示振动的行为的四个特性,并生成以下格式的振动特性数据。
振动特性数据=(随机性、频率、振幅、连续性)
振动模式分类单元64基于由振动振幅检测单元61、振动频率检测单元62和振动发生频率检测单元63生成的振动特性数据,对在预测位置发生的振动的模式进行分类。在预测位置发生的振动被分类成与在图9的第一行中图解所示的随机性、频率、幅度(振幅)和连续性相应的模式。
具体地,在预测位置发生的振动被分类为诸如其中振动突然发生并且具有随机性的模式,或者其中振动有规律地发生的模式之类的模式。指示在预测位置发生的振动的模式的振动分类信息被提供给操作方法设定单元65、识别范围设定单元66和识别确定时间设定单元67。
操作方法设定单元65按照从振动模式分类单元64提供的振动分类信息,设定乘员可使用的操作方法,具体地,乘员可使用的手势的类型。例如,操作方法设定单元65选择可用于手势的乘员的部位,并将使用所选择的部位的手势设定为识别目标。如在图9的第二行中图解所示,例如,使用手臂、手、手指、身体、头部、面部或视线中的至少一个的手势被设定为识别目标。
操作方法设定单元65将指示使用每个部位的手势是否是识别目标的操作方法参数提供给UI显示控制单元45。例如,按以下格式定义操作方法参数。值1指示它是识别目标,而值0指示它不是识别目标。在以下的例子中,使用手臂、手和手指的手势被设定为识别目标,而使用身体、头部、面部和视线的手势不被设定为识别目标。
(手臂,手,手指,身体,头部,面部,视线)=(1,1,1,0,0,0)
识别范围设定单元66按照从振动模式分类单元64提供的振动分类信息来设定识别范围。识别范围是其中乘员对于UI的显示范围进行的手势被识别为操作的范围。
图9的第四行图解说明如何设定识别范围的例子。粗体矩形指示显示装置11B,虚线矩形指示识别范围。此外,灰色填充矩形指示显示在显示装置11B上的UI的显示范围。诸如按钮或图标之类的要操作的图像被显示为UI。例如,在识别出乘员的指尖指向识别范围内的情况下,判定执行了选择UI的操作。
例如,相对于UI的显示范围,识别范围被设定为小范围、正常范围或大范围中的任何一个。例如,在识别范围被设定为小范围的情况下,识别范围被设定为比正常范围小的范围,并被设定为与显示范围几乎相同的范围。在识别范围被设定为大范围的情况下,识别范围被设定为比正常范围大的范围,并被设定为通过极大扩展显示范围而获得的范围。
此外,如在图9的第三行中图解所示,可以通过改变UI的显示范围来大幅改变识别范围。UI的显示范围被设定为小范围、正常范围或大范围中的任何一个。在UI的显示范围被设定为小范围的情况下,UI的显示范围被设定为比正常范围小的范围。在UI的显示范围被设定为大范围的情况下,UI的显示范围被设定为比正常范围大的范围。UI的显示范围也通过例如识别范围设定单元66来变更。
注意,在变更识别范围的情况下,可以变更识别范围和显示范围两者,或者可以只变更识别范围和显示范围中的任意一个。
识别范围设定单元66将指示识别范围的识别范围参数提供给UI显示控制单元45。例如,按以下格式定义识别范围参数。(x,y)表示作为UI显示的图像的显示坐标。k表示UI的图像的显示范围。例如,在显示范围是小范围的情况下,k被设定为0,在显示范围是正常范围的情况下,k被设定为1,而在显示范围是大范围的情况下,k被设定为2。f表示识别范围。例如,在识别范围是小范围的情况下,f被设定为0,在识别范围是正常范围的情况下,f被设定为1,而在识别范围是大范围的情况下,f被设定为2。
(x,y,k,f)=(0,0,1,1)
注意,即使显示范围的设定相同,要显示的UI的图像的大小也以取决于显示装置11B的分辨率的方式变化。
识别确定时间设定单元67按照从振动模式分类单元64提供的振动分类信息,设定识别确定时间以及是否应用识别禁用时段。识别确定时间是手势被识别为操作的手势的持续时间。例如,在识别出将指尖指向识别范围内的手势持续了识别确定时间的情况下,识别出执行了选择UI的操作。如在图9的第五行中图解所示,例如,将200ms(短)、500ms(正常)和1s以上(长)中的任何一个设定为识别确定时间。
识别禁用时段是手势的识别被禁用的时段。例如,诸如振幅大于导致手势识别的精度降低的预定阈值的振动之类的事件的持续时间被设定为识别禁用时段。在应用识别禁用时段的情况下,排除识别禁用时段地测量手势的持续时间。另一方面,在不应用识别禁用时段的情况下,不排除识别禁用时段地测量手势的持续时间。
识别确定时间设定单元67向UI显示控制单元45提供识别确定时间参数,识别确定时间参数指示识别确定时间以及是否应用识别禁用时段。
指示如上所述的用于识别操作的识别方法的操作方法参数、识别范围参数和识别确定时间参数被用作UI校正数据,以便由UI显示控制单元45校正用于识别操作的识别方法。
图10是图解说明如何校正用于识别操作的识别方法的例子的示图。
在图10中图解所示的例子中,如第一行中图解所示,通过对振动数据所指示的振动模式进行分类,检测在预测位置的突然振动的发生。例如,在振动数据中单独地或间歇地出现大于预定阈值的振幅的情况下,确定在预测位置发生突然振动。
在这种情况下,操作方法设定单元65生成指示使用乘员的手和手指的手势是识别目标的操作方法参数。于是,如在图10的第二行中图解所示,当在用于识别操作的识别方法的校正之前使用手和手指的手势被设定为识别目标的情况下,即使在用于识别操作的识别方法的校正之后,识别目标也不会变更。
此外,识别范围设定单元66生成指示UI的显示范围和识别范围都是小范围的识别范围参数。于是,如在图10的第三行和第四行中图解所示,当在用于识别操作的识别方法的校正之前UI的显示范围和识别范围都被设定为小范围的情况下,即使在用于识别操作的识别方法的校正之后,UI的显示范围和识别范围也不会变更。
识别确定时间设定单元67生成包括识别确定时间并且指示应用了识别禁用时段的识别确定时间参数。于是,如在图10的第五行中图解所示,当在用于识别操作的识别方法的校正之前乘员将指尖指向识别范围内的状态的持续时间变得等于识别确定时间的情况下,确定(识别出)已经进行了操作。另一方面,在用于识别操作的识别方法的校正之后,当在排除由于振动的振幅大操作识别的精度恶化的识别禁用时段的时段内,乘员将指尖指向识别范围内的状态的持续时间变得等于识别确定时段的情况下,确定已经进行了操作。
注意,在用于识别操作的识别方法的校正之前,直到确定已经进行了操作为止的手势观察时间与识别确定时间一致。
另一方面,在用于识别操作的识别方法的校正之后,直到确定已经执行了操作为止的手势观察时间可以长于识别确定时间。即,在手势观察期间发生识别禁用时段的情况下,直到确定已经进行了操作为止的手势观察时间是通过将识别禁用时段的长度与识别确定时间相加而获得的时间。
例如,在用于识别操作的识别方法未被校正的情况下,指尖或显示装置11B可能由于突然的振动而抖动,并且指尖的方向可能落在识别范围之外。结果,即使乘员打算进行操作,识别操作的结果也变得不稳定;例如,乘员的手势不被识别为操作。
另一方面,通过在发生突然振动的识别禁用时段内禁用手势识别使得即使指尖的方向由于突然振动而落在识别范围之外,只要在排除识别禁用时段的时段中指尖的方向在识别范围内的状态仅仅持续识别确定时间,则乘员的手势也可以被识别为操作。于是,即使在目标车辆2B中发生振动,也可以稳定地识别使用手势的操作。
图11是图解说明如何校正用于识别操作的识别方法的另一个例子的示图。
在图11中图解所示的例子中,如第一行中图解所示,通过对振动数据所指示的振动模式进行分类,检测到在预测位置发生稳定的振动。例如,在振动数据中连续出现大于预定阈值的振幅的情况下,确定在预测位置发生稳定的振动。
在这种情况下,操作方法设定单元65生成指示使用乘员的手和手指的手势不是识别目标,而使用乘员的手臂的手势是识别目标的操作方法参数。换句话说,在检测到在预测位置发生稳定的振动的情况下,操作方法设定单元65限制乘员可使用的手势的类型。于是,如在图11的第二行中图解所示,当在用于识别操作的识别方法的校正之前识别目标被设定为使用手和手指的手势的情况下,在用于识别操作的识别方法的校正之后,识别目标被变更为使用手臂的手势。
此外,识别范围设定单元66生成指示UI的显示范围是小范围,而识别范围是正常范围的识别范围参数。于是,如在图11的第三行中图解所示,当在用于识别操作的识别方法的校正之前,UI的显示范围被设定为小范围的情况下,即使在用于识别操作的识别方法校正之后,UI的显示范围也不会变更。此外,如在图11的第四行中图解所示,当在用于识别操作的识别方法的校正之前识别范围被设定为小范围的情况下,在用于识别操作的识别方法的校正之后,识别范围被变更为正常范围。
识别确定时间设定单元67生成包括识别确定时间并且指示不应用识别禁用时段的识别确定时间参数。于是,如在图11的第五行中图解所示,当在用于识别操作的识别方法的校正之前和之后,乘员将指尖或手臂指向识别范围内的状态的持续时间变得等于识别确定时间的情况下,确定已经进行了操作。
例如,在用于识别操作的识别方法未被校正的情况下,当连续发生大的振动时,指尖或显示装置11B可能抖动,从而阻碍将指尖准确地指向预定大小的识别范围内。
另一方面,在用于识别操作的识别方法被校正的情况下,即使在连续发生大的振动的时段中指尖由于振动而抖动,通过将识别目标无缝地变更为使用手臂的手势,也可以基于不易受振动影响的手臂的方向,准确地识别乘员期望选择的UI。
此外,即使手臂由于振动而抖动,通过扩展识别范围也可以准确地识别乘员期望选择的UI。于是,即使在目标车辆2B中发生振动,也可以将乘员所进行的手势识别为乘员想要的操作。
如上所述,操作方法设定单元65、识别范围设定单元66和识别确定时间设定单元67基于振动数据设定用于识别使用手势的操作的识别方法。通过组合地进行操作方法的选择、识别范围的调整和识别确定时间的调整,目标车辆2B可以减轻振动对手势的影响,并维持基于手势的操作系统。
·UI显示控制单元的构成
图12是图解说明UI显示控制单元45的详细构成例子的框图。
如图12中图解所示,UI显示控制单元45包括操作识别器81和UI指令生成单元82。
从摄像机46获取的图像数据被提供给操作识别器81,并且从振动模式分析单元42提供操作方法参数。操作识别器81基于从摄像机46获取的图像数据,识别通过操作方法参数设定为识别目标的手势。
指示识别被设定为识别目标的手势的结果的数据被提供给UI指令生成单元82。
识别范围参数和识别确定时间参数从振动模式分析单元42提供给UI指令生成单元82。UI指令生成单元82基于操作识别器81识别手势的结果来识别操作,并且生成指示操作的细节的UI信息。
例如,UI指令生成单元82判定手势是否满足操作条件,比如在识别范围内进行手势的状态的持续时间是否变得等于识别确定时间。例如,在手势满足操作条件的情况下,UI指令生成单元82判定手势是选择与识别范围对应的UI的操作。注意,识别范围由识别范围参数指示,而识别确定时间由识别确定时间参数指示。
UI指令生成单元82将UI信息提供给显示装置11B,以使显示装置11B按照操作的细节进行操作。
注意,后续车辆2C设置有与目标车辆2B的构成相同的构成。
<<3.各个装置的操作>>
将描述具有上述构成的振动数据管理系统的各个装置如何操作。
<前行车辆和服务器如何操作>
将参考图13的流程图描述前行车辆2A和服务器1进行的处理。
在步骤S1,前行车辆2A的振动数据获取单元31从加速度传感器32获取振动数据,从GNSS接收器33获取位置信息,并将位置信息提供给数据发送单元34。
在步骤S2,前行车辆2A的振动数据获取单元31获取自身车辆(前行车辆2A)的车辆信息,并将车辆信息提供给数据发送单元34。
在步骤S3,前行车辆2A的数据发送单元34将振动数据、车辆信息和位置信息发送到服务器1。
在振动数据等的发送之后,在前行车辆2A中,重复进行步骤S1的处理和随后的处理。
在步骤S11,服务器1的数据接收单元21接收从前行车辆2A发送的振动数据、车辆信息和位置信息,并将振动数据提供给振动数据管理单元22。
在步骤S12,服务器1的振动数据管理单元22存储标记有车辆信息的振动数据,该振动数据与基于位置信息的地图数据上的位置关联。
在服务器1中,每当从前行车辆2A发送振动数据等时,都进行步骤S11的处理和随后的处理。
<目标车辆和服务器如何操作>
·整体操作
将参考图14的流程图描述目标车辆2B和服务器1进行的处理。
在步骤S21,目标车辆2B的振动模式分析单元42从GNSS接收器44获取自身车辆(目标车辆2B)的位置信息,确定预测位置,并向数据接收单元41通知预测位置。
在步骤S22,目标车辆2B的数据接收单元41获取自身车辆(目标车辆2B)的车辆信息。
在步骤S23,目标车辆2B的数据接收单元41向服务器1请求在预测位置获取的振动数据。这里,基于在步骤S22获取的车辆信息,请求由车型与目标车辆2B的车型对应的车辆获取的振动数据。
在步骤S41,服务器1的数据发送单元23将与目标车辆2B请求的位置相关联的振动数据发送到目标车辆2B。在服务器1中,每当从目标车辆2B请求振动数据时,都进行步骤S41的处理。
在步骤S24,目标车辆2B的数据接收单元41接收从服务器1发送的预测位置的振动数据,并将该振动数据提供给振动模式分析单元42。
在步骤S25,目标车辆2B的振动模式分析单元42进行UI校正数据生成处理。在UI校正数据生成处理中,基于从服务器1获取的振动数据生成UI校正数据。UI校正数据生成处理的细节将在后面参考图15描述。
当目标车辆2B到达预测位置时,在步骤S26,目标车辆2B的UI显示控制单元45进行操作确定处理。在操作确定处理中,识别由乘员进行的手势,并且基于识别手势的结果生成UI信息。此时,根据需要使用在步骤S25生成的UI校正数据来校正用于识别操作的识别方法。操作确定处理的细节将在后面参考图16描述。
在步骤S27,目标车辆2B的振动模式分析单元42从加速度传感器43获取振动数据,从GNSS接收器44获取位置信息,并将位置信息提供给数据发送单元47。
在步骤S28,目标车辆2B的数据发送单元47将UI校正数据以及自身车辆(目标车辆2B)的振动数据、车辆信息和位置信息发送到服务器1。
在发送UI校正数据等之后,在目标车辆2B中,重复进行步骤S21的处理和随后的处理。
在步骤S42,服务器1的数据接收单元21接收从目标车辆2B发送的UI校正数据、振动数据、车辆信息和位置信息,并将UI校正数据、振动数据、汽车信息和位置信息提供给振动数据管理单元22。
在步骤S43,服务器1的振动数据管理单元22存储标记有车辆信息的振动数据和UI校正数据,所述振动数据和UI校正数据与基于位置信息的地图数据上的位置关联。
在服务器1中,每当从目标车辆2B发送振动数据等时,都进行步骤S42的处理和随后的处理。
·UI校正数据生成处理
将参考图15的流程图描述在图14的步骤S25中进行的UI校正数据生成处理。
在步骤S51,振动模式分析单元42从数据接收单元41获取振动数据。
在步骤S52,振动模式分析单元42基于振动数据分析振动模式。
具体地,振动模式分析单元42的振动振幅检测单元61、振动频率检测单元62和振动发生频率检测单元63基于振动数据生成振动特性数据,并将振动特性数据提供给振动模式分类单元64。振动模式分类单元64基于振动特性数据对由振动数据指示的振动模式进行分类,并生成振动分类信息。振动模式分类单元64将振动分类信息提供给操作方法设定单元65、识别范围设定单元66和识别确定时间设定单元67。
在步骤S53,操作方法设定单元65基于振动分类信息设定操作方法。即,操作方法设定单元65设定作为识别目标的手势(设定可使用的手势)。操作方法设定单元65生成用于设定作为识别目标的手势的操作方法参数。
在步骤S54,识别范围设定单元66基于振动分类信息设定识别范围。识别范围设定单元66生成用于设定识别范围的识别范围参数。
在步骤S55,识别确定时间设定单元67基于振动分类信息设定识别确定时间。此外,识别确定时间设定单元67基于振动分类信息设定是否应用识别禁用时段。识别确定时间设定单元67生成用于设定识别确定时间以及是否应用识别禁用时段的识别确定时间参数。
在步骤S56,振动模式分析单元42将操作方法参数、识别范围参数和识别确定时间参数作为UI校正数据提供给UI显示控制单元45。
在步骤S57,振动模式分析单元42将UI校正数据提供给数据发送单元47。
之后,处理返回图14的步骤S25,进行随后的处理。
·操作确定处理
参考图16的流程图描述在图14的步骤S26中进行的操作确定处理。
在步骤S71,操作识别器81识别手势。即,操作识别器81例如基于图像数据,识别使用在操作方法参数中被设定为识别目标的部位的手势。例如,操作识别器81识别使用乘员的手的手势。
在步骤S72,UI指令生成单元82例如基于由操作识别器81识别的手势来识别操作类型。例如,在操作识别器81识别出进行了将手的指尖指向显示装置11B的手势的情况下,UI指令生成单元82识别出进行用于选择显示在显示装置11B上的UI的操作。
在步骤S73,UI指令生成单元82判定乘员进行的手势是否满足操作条件。例如,UI指令生成单元82将识别确定时间与其中将用于被设定为识别目标的手势的部位指向识别范围内的状态的持续时间进行比较。在手势的持续时间变得等于识别确定时间的情况下,UI指令生成单元82判定手势满足操作条件,并且处理进行到步骤S74。此时,在识别禁用时段的应用被设定为启用的情况下,在排除识别禁用时段的时段中测量手势的持续时间。注意,识别范围由识别范围参数指示,而识别确定时间和是否应用识别禁用时段由识别确定时间参数指示。
在步骤S74,UI指令生成单元82将识别操作的结果发送到显示装置11B。即,UI指令生成单元82生成指示识别出的操作的细节的UI信息,并将该UI信息发送到显示装置11B。
之后,处理返回到图14的步骤S26,并进行随后的处理。
另一方面,在步骤S73判定乘员所进行的手势不满足操作条件的情况下,跳过步骤S74的处理,处理返回到图14的步骤S26,并进行随后的处理。
如上所述,即使在行驶期间发生振动,目标车辆2B也可以正确地识别乘员进行的使用手势的操作。
<<4.变形例>>
<UI校正数据的有效性的反馈的例子>
例如,由于路况、诸如乘员的姿势之类的状态、车辆的状态等随着状况或时间而变化,因此使用UI校正数据校正用于识别操作的识别方法不一定是最合适的。另一方面,当作为操作识别(UI操作)的成功率计算UI校正数据是否有效,并且再次进行成功率低的操作识别时,可以校正UI校正数据以进行优化。
图17是图解说明图7中的UI显示控制单元45的另一个构成例子的框图。在图17中,与图12中的构成相同的构成用相同的附图标记表示。将酌情省略冗余的描述。
图17中图解所示的UI显示控制单元45的构成与图12中的UI显示控制器45的构成的不同之处在于,在UI指令生成单元82的后续阶段设置了成功率确定器101。
成功率确定器101包括成功率计算单元111和标记单元112。
UI指令生成单元82所进行的判定的结果被提供给成功率计算单元111。成功率计算单元111基于UI指令生成单元82所进行的判定的结果来计算操作识别的成功率。例如,成功率计算单元111在其中UI指令生成单元82判定手势满足操作条件的情况计算被视为成功成功率,而其中UI指令生成单元82判定手势不满足操作条件的情况计算被视为失败的成功率。
成功率计算单元111将指示所计算的成功率的信息提供给标记单元112。
UI校正数据(操作方法参数、识别范围参数、识别确定时间参数)被从振动模式分析单元42提供给标记单元112。标记单元112利用从成功率计算单元111提供的信息,作为指示UI校正数据的有效性的有效性反馈信息来标记UI校正数据。
标记单元112将有效性反馈信息提供给振动模式分析单元24,并将用有效性反馈信息标记的UI校正数据提供给数据发送单元47。
图18是图解说明图7中的振动模式分析单元42的另一个构成例子的框图。在图18中,与图8中的构成相同的构成用相同的附图标记表示。将酌情省略冗余的描述。
图18中图解所示的振动模式分析单元42的构成与图8的振动模式分析单元42的构成的不同之处在于从UI显示控制单元45向操作方法设定单元65、识别范围设定单元66和识别确定时间设定单元67提供有效性反馈信息。
操作方法设定单元65基于有效性反馈信息校正操作方法参数,以禁用成功率低的操作方法。例如,操作方法设定单元65校正操作方法参数,以禁用使用诸如手或手指之类易受振动影响的部位的手势(使该手势不成为识别的对象)。
识别范围设定单元66基于有效性反馈信息校正识别范围参数,以便优化成功率低的操作的识别范围或显示范围。例如,识别范围设定单元66校正识别范围参数以扩展识别范围或显示范围。
识别确定时间设定单元67基于有效性反馈信息校正识别确定时间参数,以便优化成功率低的操作的识别确定时间。例如,识别确定时间设定单元67校正识别确定时间参数以缩短识别确定时间。
将参考图19的流程图描述由具有上述构成的目标车辆2B和服务器1进行的处理。服务器1所进行的处理与图14的服务器1所进行的处理相同,因此将省略对该处理的描述。
在步骤S101~S106,进行与图14的步骤S21~26的处理类似的处理。即,从服务器1获取预测位置的振动数据,并且生成UI校正数据。此外,生成指示与乘员进行的手势对应的操作的细节的UI信息,并将其发送到显示装置11B。
在步骤S107,目标车辆2B的成功率确定器101进行成功率计算处理。在成功率计算处理中,用有效性反馈信息标记UI校正数据,并且UI校正数据的有效性被反馈到UI校正数据生成处理。成功率计算处理将在后面参考图20描述。
在步骤S108,目标车辆2B的振动模式分析单元42从加速度传感器43获取振动数据,从GNSS接收器44获取位置信息,并将位置信息提供给数据发送单元47。
在步骤S109,目标车辆2B的数据发送单元47向服务器1发送标记有有效性反馈信息的UI校正数据,以及自身车辆的振动数据、车辆信息和位置信息。
在发送UI校正数据等之后,重复进行步骤S101的处理和随后的处理。在重复进行的步骤S105的UI校正数据生成处理中,生成基于有效性反馈信息校正的UI校正信息。
将参考图20的流程图描述在图19的步骤S107中进行的成功率计算处理。
在步骤S121,成功率计算单元111计算操作识别的成功率,并将指示计算成功率的结果的信息提供给标记单元112。
在步骤S122,标记单元112利用从成功率计算单元111提供的信息,作为指示UI校正数据的有效性的有效性反馈信息来标记UI校正数据。标记单元112将用有效性反馈信息标记的UI校正数据提供给数据发送单元47。
在步骤S123,标记单元112将有效性反馈信息反馈给振动模式分析单元42。
之后,处理返回图19的步骤S107,并进行随后的处理。
如上所述,反馈UI校正数据的有效性的机制的引入使得可以不管路况、诸如乘员的姿势之类的状态、车辆的状态等,连续地设定允许减小在目标车辆2B中产生的振动的影响的UI校正数据。此外,随着使用频次的增加,比如进行相同的手势,可以提高操作识别的精度。
通过使用由目标车辆2B生成并标记有有效性反馈信息的UI校正数据,后续车辆2C可以在考虑路况等的情况下设定用于识别操作的识别方法。于是,可以进行进一步最优的操作识别。此外,随着使用频次的增加,比如通过同一道路,可以提高操作识别的精度。
<其他>
尽管已经描述了从服务器1获取标记有车辆信息的预测位置的振动数据的例子,但是目标车辆2B与前行车辆2A通信以直接从前行车辆2A获取振动数据、位置信息和车辆信息的构成是可能的。目标车辆2B与后续车辆2C通信以将振动数据、位置信息、车辆信息和UI校正数据发送到后续车辆2C的构成也是可能的。
此外,目标车辆2B基于捕获的前行车辆2A的运动图像来获取预测位置的振动数据的构成是可能的。捕获的前行车辆2A的运动图像例如通过由搭载在目标车辆2B上的前置摄像机进行捕获来获取。
尽管已经描述了在显示装置上显示UI和视频内容的例子,但是例如可以通过高亮度投影仪将UI和视频内容投影到车辆的内部。
例如,在服务器1中未存储由车型与目标车辆2B的车型对应的前行车辆2A获取的振动数据的情况下,可以按照目标车辆2B的车型来校正由车型不同于目标车辆2B的车型的前行车辆2A获取的振动数据。这种校正例如由目标车辆2B的信号处理装置或服务器1进行。
尽管已经描述了通过加速度传感器检测车辆2的振动的例子,但是车辆2的振动可以通过其他振动检测单元检测。
例如,每个车辆2可以向服务器1发送指示诸如乘员的体格之类的特性的乘员信息,并且服务器1可以将从每个车辆2接收的乘员信息与UI校正数据关联地存储所述乘员信息。然后,每个车辆2可以将指示乘员的特性的乘员空间发送到服务器1,并且服务器1可以将与和从每个车辆2接收的乘员信息类似的乘员信息相关联的UI校正数据发送到每个车辆2。结果,每个车辆2可以基于指示对于具有相似特性的乘员设定的用于识别操作的识别方法的UI校正数据,校正用于识别操作的识别方法。
例如,本技术还可应用于在除车辆以外的移动体中识别由乘员进行的基于手势的操作的情况。
<计算机构成例子>
由上述服务器1和信号处理装置进行的处理可以通过硬件或软件来进行。在通过软件执行一系列处理的情况下,构成软件的程序从程序记录介质安装到并入专用硬件中的计算机、通用个人计算机等上。
图21是图解说明按照程序进行上述一系列处理的计算机的硬件的构成例子的框图。
中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。
输入/输出接口205也连接到总线204。包括键盘、鼠标等的输入单元206和包括显示器、扬声器等的输出单元207连接到输入/输出接口205。此外,包括硬盘、非易失性存储器等的存储单元208、包括网络接口等的通信单元209以及驱动可移动介质211的驱动器210连接到输入/输出接口205。
在如上所述构成的计算机中,例如,CPU 201通过输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203上,并执行该程序以进行上述一系列处理。
由CPU 201执行的程序例如通过记录在可移动介质211中或经由诸如局域网、因特网或数字广播之类的有线或无线传输介质来提供,并且被安装在存储单元208上。
注意,由计算机执行的程序可以是按本文中描述的顺序时序地进行处理的程序,或者可以是并行地或在诸如当进行调用时之类的必要定时进行处理的程序。
注意在本文中,系统意味着一组多个组件(比如装置和模块(部件)),并且所有组件是否位于同一外壳中并不重要。于是,容纳在单独的外壳中并经由网络连接的多个装置,以及其中多个模块容纳在一个外壳中的一个装置都是系统。
注意,本文中描述的效果仅仅是例子而不受限制,并且可以存在其他效果。
本技术的实施例不限于上述实施例,并且在不脱离本技术的精神的情况下可以进行各种修改。
例如,本技术可以被构成为云计算,其中一个功能由多个装置经由网络分担,并且多个装置联合进行处理。
此外,上述流程图中描述的每个步骤可以由一个装置进行,或者可以由多个装置分担进行。
此外,在一个步骤包括多个处理的情况下,包括在一个步骤中的多个处理可以由一个装置进行,或者可以由多个装置分担进行。
<构成的组合例子>
本技术还可以具有以下构成。
(1)一种信号处理装置,包括:
设定单元,所述设定单元被配置为基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法;和
操作识别单元,所述操作识别单元被配置为按照由所述设定单元设置的识别方法来识别由用户进行的手势所指示的操作。
(2)按照上述(1)的信号处理装置,其中
所述操作识别单元识别由在配备有所述信号处理装置的车辆中的用户进行的手势所指示的操作。
(3)按照上述(2)的信号处理装置,其中
所述第一振动数据指示由在所述车辆前面已行驶通过预测所述车辆将来要行驶通过的预测位置的前行车辆检测到的振动。
(4)按照上述(3)的信号处理装置,其中
所述设定单元基于指示针对所述前行车辆设定的识别方法的校正数据,校正所述识别方法。
(5)按照上述(3)或(4)的信号处理装置,其中
所述设定单元基于指示由车型与所述车辆的车型对应的前行车辆检测到的振动的第一振动数据来设定所述识别方法。
(6)按照上述(3)~(5)任意之一的信号处理装置,还包括:
振动检测单元,所述振动检测单元被配置为检测所述车辆的振动,并且生成指示检测所述汽车的振动的结果的第二振动数据;和
发送单元,所述发送单元被配置为将所述第二振动数据发送到后续车辆或服务器,所述后续车辆在所述车辆后面行驶通过所述预测位置,所述服务器将所述第二振动数据发送到所述后续车辆。
(7)按照上述(6)的信号处理装置,其中
所述发送单元将指示所述车辆的类型的车辆信息连同所述第二振动数据一起发送到所述后续车辆或所述服务器。
(8)按照上述(6)或(7)的信号处理装置,其中
所述发送单元将指示由所述设定单元设定的所述识别方法的校正数据连同所述第二振动数据一起发送到所述后续车辆或所述服务器。
(9)按照上述(3)~(8)任意之一的信号处理装置,还包括获取单元,所述获取单元被配置为基于捕获的所述前行车辆的运动图像来获取所述第一振动数据。
(10)按照上述(1)~(9)任意之一的信号处理装置,其中
所述设定单元设定作为识别目标的手势的类型、其中将手势识别为操作的范围、和将手势识别为操作所花费的识别确定时间中的至少一个,作为所述识别方法。
(11)按照上述(10)的信号处理装置,其中
所述设定单元基于预测未来要发生的振动的随机性、频率、振幅和连续性中的至少一个来设定所述识别方法。
(12)按照上述(11)的信号处理装置,其中
所述操作识别单元通过比较将其中发生振幅大于预定阈值的振动的时段排除在外的时段中的所述手势的持续时间和所述识别确定时间,来识别所述操作。
(13)按照上述(11)或(12)的信号处理装置,其中
在预测连续发生振幅大于预定阈值的振动的情况下,所述设定单元限制作为识别目标的手势的类型。
(14)按照上述(11)~(13)任意之一的信号处理装置,其中
在预测将连续发生振幅大于预定阈值的振动的情况下,所述设定单元扩展其中手势被识别为操作的范围。
(15)按照上述(1)~(14)任意之一的信号处理装置,其中
所述操作识别单元基于捕捉的所述用户的运动图像来识别所述用户进行的所述手势。
(16)按照上述(1)~(15)任意之一的信号处理装置,还包括确定单元,所述确定单元被配置为确定由所述设定单元设定的所述识别方法的有效性,其中
所述设定单元基于确定所述识别方法的有效性的结果来校正所述识别方法。
(17)一种信号处理方法,包括使信号处理装置进行:
基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法;和
按照设定的所述识别方法来识别由用户进行的手势所指示的操作。
(18)一种存储用于进行处理的程序的计算机可读记录介质,所述处理包括:
基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法;和
按照设定的所述识别方法来识别由用户进行的手势所指示的操作。
(19)一种信号处理系统,包括:
信号处理装置,所述信号处理装置包括:
设定单元,所述设定单元被配置为基于指示预测未来要发生的振动的振动数据来设定用于识别使用手势的操作的识别方法;和
操作识别单元,所述操作识别单元被配置为根据由所述设定单元设置的识别方法来识别由用户执行的手势所指示的操作;和
显示装置,所述显示装置包括显示单元,所述显示单元被配置为显示对其进行了使用手势的操作的图像。
(20)按照上述(19)的信号处理系统,还包括服务器,所述服务器包括管理单元,所述管理单元被配置为将所述振动数据与检测到由所述振动数据指示的振动的位置相关联地管理所述振动数据,其中
所述设定单元基于从所述服务器获取的所述振动数据来设定所述识别方法。
附图标记列表
1 服务器
2A 前行车辆
2B 目标车辆
2C 后续车辆
11A~11C 显示装置
21 数据接收单元
22 振动数据管理单元
23 数据发送单元
31 振动数据获取单元
32 加速度传感器
33GNSS接收器
34 数据发送单元
41 数据接收单元
42 振动模式分析单元
43 加速度传感器
44GNSS接收器
45 UI显示控制单元
46 摄像机
47 数据发送单元
61 振动振幅检测单元
62 振动频率检测单元
63 振动发生频率检测单元
64 振动模式分类单元
65 操作方法设定单元
66 识别范围设定单元
67 识别确定时间设定单元
81 操作识别器
82 UI指令生成单元
101 成功率确定器
111 成功率计算单元
112 标记单元

Claims (20)

1.一种信号处理装置,包括:
设定单元,所述设定单元被配置为基于指示预测未来要发生的振动的第一振动数据来设定用于识别使用手势的操作的识别方法;和
操作识别单元,所述操作识别单元被配置为按照由所述设定单元设置的识别方法来识别由用户进行的手势所指示的操作。
2.按照权利要求1所述的信号处理装置,其中
所述操作识别单元识别由在配备有所述信号处理装置的车辆中的用户进行的手势所指示的操作。
3.按照权利要求2所述的信号处理装置,其中
所述第一振动数据指示由在所述车辆前面已行驶通过预测所述车辆将来要行驶通过的预测位置的前行车辆检测到的振动。
4.按照权利要求3所述的信号处理装置,其中
所述设定单元基于指示针对所述前行车辆设定的识别方法的校正数据,校正所述识别方法。
5.按照权利要求3所述的信号处理装置,其中
所述设定单元基于指示由车型与所述车辆的车型对应的前行车辆检测到的振动的第一振动数据来设定所述识别方法。
6.按照权利要求3所述的信号处理装置,还包括:
振动检测单元,所述振动检测单元被配置为检测所述车辆的振动,并且生成指示检测所述汽车的振动的结果的第二振动数据;和
发送单元,所述发送单元被配置为将所述第二振动数据发送到后续车辆或服务器,所述后续车辆在所述车辆后面行驶通过所述预测位置,所述服务器将所述第二振动数据发送到所述后续车辆。
7.按照权利要求6所述的信号处理装置,其中
所述发送单元将指示所述车辆的类型的车辆信息连同所述第二振动数据一起发送到所述后续车辆或所述服务器。
8.按照权利要求6所述的信号处理装置,其中
所述发送单元将指示由所述设定单元设定的所述识别方法的校正数据连同所述第二振动数据一起发送到所述后续车辆或所述服务器。
9.按照权利要求3所述的信号处理装置,还包括获取单元,所述获取单元被配置为基于捕获的所述前行车辆的运动图像来获取所述第一振动数据。
10.按照权利要求1所述的信号处理装置,其中
所述设定单元设定作为识别目标的手势的类型、其中将手势识别为操作的范围、和将手势识别为操作所花费的识别确定时间中的至少一个,作为所述识别方法。
11.按照权利要求10所述的信号处理装置,其中
所述设定单元基于预测未来要发生的振动的随机性、频率、振幅和连续性中的至少一个来设定所述识别方法。
12.按照权利要求11所述的信号处理装置,其中
所述操作识别单元通过比较将其中发生振幅大于预定阈值的振动的时段排除在外的时段中的所述手势的持续时间和所述识别确定时间,来识别所述操作。
13.按照权利要求11所述的信号处理装置,其中
在预测将连续发生振幅大于预定阈值的振动的情况下,所述设定单元限制作为识别目标的手势的类型。
14.按照权利要求11所述的信号处理装置,其中
在预测将连续发生振幅大于预定阈值的振动的情况下,所述设定单元扩展其中手势被识别为操作的范围。
15.按照权利要求1所述的信号处理装置,其中
所述操作识别单元基于捕捉的所述用户的运动图像来识别所述用户进行的所述手势。
16.按照权利要求1所述的信号处理装置,还包括确定单元,所述确定单元被配置为确定由所述设定单元设定的所述识别方法的有效性,其中
所述设定单元基于确定所述识别方法的有效性的结果来校正所述识别方法。
17.一种信号处理方法,包括使信号处理装置进行:
基于指示预测未来要发生的振动的振动数据来设定用于识别使用手势的操作的识别方法;和
按照设定的识别方法来识别由用户进行的手势所指示的操作。
18.一种存储用于进行处理的程序的计算机可读记录介质,所述处理包括:
基于指示预测未来要发生的振动的振动数据来设定用于识别使用手势的操作的识别方法;和
按照设定的所述识别方法来识别由用户进行的手势所指示的操作。
19.一种信号处理系统,包括:
信号处理装置,所述信号处理装置包括:
设定单元,所述设定单元被配置为基于指示预测未来要发生的振动的振动数据来设定用于识别使用手势的操作的识别方法;和
操作识别单元,所述操作识别单元被配置为根据由所述设定单元设置的识别方法来识别由用户执行的手势所指示的操作;和
显示装置,所述显示装置包括显示单元,所述显示单元被配置为显示对其进行了使用手势的操作的图像。
20.按照权利要求19所述的信号处理系统,还包括服务器,所述服务器包括管理单元,所述管理单元被配置为将所述振动数据与检测到由所述振动数据指示的振动的位置相关联地来管理所述振动数据,其中
所述设定单元基于从所述服务器获取的所述振动数据来设定所述识别方法。
CN202280042810.6A 2021-06-22 2022-02-09 信号处理装置、信号处理方法、记录介质和信号处理系统 Pending CN117501212A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-103260 2021-06-22
JP2021103260 2021-06-22
PCT/JP2022/005153 WO2022269983A1 (ja) 2021-06-22 2022-02-09 信号処理装置、信号処理方法、記録媒体、および信号処理システム

Publications (1)

Publication Number Publication Date
CN117501212A true CN117501212A (zh) 2024-02-02

Family

ID=84543745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280042810.6A Pending CN117501212A (zh) 2021-06-22 2022-02-09 信号处理装置、信号处理方法、记录介质和信号处理系统

Country Status (5)

Country Link
EP (1) EP4361992A1 (zh)
JP (1) JPWO2022269983A1 (zh)
KR (1) KR20240024809A (zh)
CN (1) CN117501212A (zh)
WO (1) WO2022269983A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761040B (zh) * 2023-08-22 2023-10-27 超级芯(江苏)智能科技有限公司 Vr云平台交互方法及交互系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4416557B2 (ja) * 2004-04-02 2010-02-17 アルパイン株式会社 空間入力システム
WO2013145223A1 (ja) * 2012-03-29 2013-10-03 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
KR101518904B1 (ko) * 2013-09-23 2015-05-11 현대자동차 주식회사 차량용 조작 장치
JP2016126556A (ja) 2015-01-05 2016-07-11 株式会社デンソー 車載用タッチパネル装置
KR20180120396A (ko) * 2017-04-27 2018-11-06 현대모비스 주식회사 주행 조건에 따른 모션제스처 피드백 실행 방법 및 장치
JP6941543B2 (ja) * 2017-11-17 2021-09-29 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Also Published As

Publication number Publication date
KR20240024809A (ko) 2024-02-26
WO2022269983A1 (ja) 2022-12-29
EP4361992A1 (en) 2024-05-01
JPWO2022269983A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
US10403147B2 (en) Systems and methods for automatically documenting an accident
JP4569652B2 (ja) 認識システム
CN109785368B (zh) 一种目标跟踪方法和装置
CN112673335A (zh) 通过笔设备改变计算设备的操作模式
US10168787B2 (en) Method for the target recognition of target objects
JP7200897B2 (ja) 占有グリッドマップ生成装置、占有グリッドマップ生成システム、占有グリッドマップ生成方法、およびプログラム
CN102887121A (zh) 将注视位置映射到车辆中的信息显示器的方法
CN117501212A (zh) 信号处理装置、信号处理方法、记录介质和信号处理系统
CN110901637A (zh) 车辆的驾驶控制装置和方法
CN110781779A (zh) 物体位置检测方法、装置、可读存储介质及电子设备
US20220180109A1 (en) Devices and methods for monitoring drivers of vehicles
US20220242430A1 (en) Vehicle information display system, vehicle information display device, and vehicle control system
US11538258B2 (en) Analysis apparatus, analysis method, and non-transitory storage medium for deciding the number of occupants detected in a vehicle
US20180052564A1 (en) Input control apparatus, input control method, and input control system
KR20190113252A (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
EP3135514B1 (en) Air-conditioning control apparatus, air-conditioning apparatus, air-conditioning control method, air-conditioning control system and non-transitory recording medium
US11727579B2 (en) Information processing apparatus, control method, and program
CN113432620B (zh) 误差估计方法、装置、车载终端及存储介质
US20180272978A1 (en) Apparatus and method for occupant sensing
JP2021193636A (ja) 撮影装置、制御方法、プログラム及び記憶媒体
JP6770488B2 (ja) 注視対象物推定装置、注視対象物推定方法、およびプログラム
CN114078323B (zh) 感知增强方法、装置、路侧基站、计算机设备和存储介质
CN116424243B (zh) 一种智能车载多媒体系统控制方法及装置
JP3244734U (ja) 姿勢の検知手段を有する筆記具または操作機器
EP2808752B1 (en) Performing an action associated with a motion based input

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication