CN112771480A - 交互方法及电子设备 - Google Patents

交互方法及电子设备 Download PDF

Info

Publication number
CN112771480A
CN112771480A CN202080004859.3A CN202080004859A CN112771480A CN 112771480 A CN112771480 A CN 112771480A CN 202080004859 A CN202080004859 A CN 202080004859A CN 112771480 A CN112771480 A CN 112771480A
Authority
CN
China
Prior art keywords
finger
camera
coordinates
coordinate system
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080004859.3A
Other languages
English (en)
Other versions
CN112771480B (zh
Inventor
韩振华
黄为
何彦杉
徐文康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112771480A publication Critical patent/CN112771480A/zh
Application granted granted Critical
Publication of CN112771480B publication Critical patent/CN112771480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本申请实施例涉及一种交互方法及电子设备，涉及汽车领域，可以识别手指所指的方向，使得用户可以根据手指所指的方向与设备交互，实现丰富的功能。该方法包括：获取手指的第一空间坐标，其中，第一空间坐标为三维坐标系中的坐标；根据第一空间坐标，确定手指所指的第一方向；根据第一方向，调节目标设备的参数，或者，显示目标物体的信息。

Description

交互方法及电子设备
技术领域
本申请实施例涉及汽车领域，尤其涉及交互方法及电子设备。
背景技术
随着现代经济技术的发展，汽车已经成为人们日常生活中最重要的交通工具。为了提高驾驶人或乘车人的车内体验，在汽车座舱中引入了人机交互的功能。也就是说，驾驶人或乘车人在汽车座舱中可以通过手势与汽车内的设备交互，以实现不同的功能。例如，在播放音乐时，驾驶人或乘车人能够通过手部动作(例如，向左滑动或向右滑动)实现歌曲的切换。又例如，在音乐或广播暂停播放时，驾驶人或乘车人能够通过手部样式(例如，OK手势或V字形手势等)开启播放功能。
上述手部动作或手部样式都是通过汽车座舱中的摄像机识别的。目前，汽车座舱中的摄像机能够识别的手部动作或手部样式是有限的，因此，驾驶人或乘车人通过手势与汽车内的设备交互，实现的功能较少也较单一。
发明内容
本申请实施例提供一种交互方法及电子设备，可以识别手指所指的方向，使得用户可以根据手指所指的方向与设备交互，实现丰富的功能。
为达到上述目的，本申请实施例采用如下技术方案：
第一方面，本申请实施例提供一种交互方法，应用于智能座舱，该方法包括：获取手指的第一空间坐标，该第一空间坐标为三维坐标系中的坐标；根据该第一空间坐标，确定该手指所指的第一方向；根据该第一方向，调节目标设备的参数，或者，显示目标物体的信息。
基于上述第一方面所述的方法，可以获取手指的第一空间坐标，根据第一空间坐标确定手指所指的第一方向，并根据第一方向调节目标设备的参数或者显示目标物体的信息。一方面，在智能座舱中，手指可以指向任一方向，不同方向可以对应智能座舱的不同功能，以智能座舱为汽车的座舱为例，手指向上指可以用于关闭车窗，手指向下指可以用于打开车窗，手指向前方指可以用于打开天窗，手指向后指可以用于关闭天窗。因此根据手指所指的方向可以实现不同的功能。另一方面，相比于根据手势对智能座舱内的设备进行调节，本申请实施例提供的方法还可以根据手指所指的方向显示目标物体的信息，增加了人机交互的方式。
结合第一方面，在一种可能的实现方式中，获取手指的第一空间坐标之前，该方法还包括：获取手指的第二空间坐标，第二空间坐标为该三维坐标系中的坐标；根据该第二空间坐标，确定该手指所指的第二方向；将该第二方向上的设备，确定为该目标设备。基于上述方法，在获取手指的第一空间坐标之前，可以先根据手指的第二空间坐标确定目标设备，以便后续根据第一方向调节目标设备的参数。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，获取手指的第一空间坐标，包括：在预设时间段内，检测到该手指所指方向在第一范围内的情况下，获取该手指的第一空间坐标；其中，该第一范围为与手指的初始方向的夹角小于或等于第一阈值的范围，该初始方向为在该预设时间段的初始时刻，检测到的该手指的方向。基于上述方法，可以预设时间段内，检测到手指所指方向未发生变化的情况下，获取手指的第一空间坐标，以避免由于误操作触发获取手指的第一空间坐标。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，该获取手指的第一空间坐标，包括：获取摄像机拍摄的图像中该手指的图像坐标，该手指的图像坐标为该二维坐标系中的坐标；根据该手指的图像坐标、该摄像机的内参矩阵和物理变换矩阵得到该第一空间坐标，该摄像机的内参矩阵和该物理变换矩阵用于指示该二维坐标系与该三维坐标系之间的变换关系。基于上述方法，可以获取摄像机拍摄的图像中手指的图像坐标，根据手指的图像坐标，以及二维坐标系和三维坐标系之间的变换关系，得到第一空间坐标。如此，根据第一空间坐标可以快速得到第一方向。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，该方法还包括：获取该摄像机拍摄的图像中多个估计点的图像坐标和该多个估计点的空间坐标，该多个估计点的图像坐标为该二维坐标系中的坐标，该多个估计点的空间坐标为该三维坐标系中的坐标；根据该摄像机的内参矩阵、该多个估计点的图像坐标和该多个估计点的空间坐标得到该物理变换矩阵。基于上述方法，可以获取多个估计点的图像坐标和多个估计点的空间坐标，根据内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标得到物理变换矩阵。如此，可以知道二维坐标系与三维坐标系之间的变换关系，后续可以根据该变换关系将摄像机拍摄的图像中手指的图像坐标转换为第一空间坐标，从而可以确定手指所指的方向。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，物理变换矩阵为预设置的。基于上述方法，物理变换矩阵可以是预设置在智能座舱中的，这样在获取第一空间坐标之前，就不需要计算物理变换矩阵了，减少了汽车座舱中设备的计算量。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，该摄像机为单目摄像机、双目摄像机或深度摄像机。基于上述方法，可以通过多种类型的摄像机，例如，单目摄像机、双目摄像机或深度摄像机来拍摄图像。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，该目标物体为交互区域中的物体；该交互区域为该第一方向覆盖的区域。基于上述方法，可以根据第一方向，显示第一方向覆盖的区域中的物体的信息，使得用户了解到目标物体的信息，提高了用户体验。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，该二维坐标系为摄像机对应的坐标系；该三维坐标系为该智能座舱的三维模型对应的坐标系，或者该智能座舱的三维图纸对应的坐标系。基于上述方法，可以将摄像机对应的坐标系和智能座舱的三维模型对应的坐标系的关联起来，或者，将摄像机对应的坐标系和智能座舱的三维图纸对应的坐标系关联起来，如此可以根据手指的图像坐标得到第一空间坐标。
结合第一方面以及第一方面各种可能的实现方式，在一种可能的实现方式中，该智能座舱为车辆中的座舱，根据该第一方向，调节目标设备的参数，包括：根据该第一方向，调节该车辆中车窗的参数；或者，根据该第一方向，调节该车辆中天窗的参数；或者，根据该第一方向，调节该车辆中空调的参数。基于上述方法，可以根据手指所指的方向调节车辆中的车窗、天窗和空调，相比于通过按键的方式调节上述设备，可以节省硬件成本。另外，在调节车辆中的设备时，不需要持续性动态调节，通过手指指出一个方向，就可以一步到位调节好，用户体验较好。例如，可以通过手指向上指，逐渐关闭车窗，到达想要关闭的程度时，移开手指即可停止关闭操作。
第二方面，本申请实施例提供一种电子设备，可以实现上述第一方面、或第一方面任一种可能的实施方式中的方法。该电子设备包括用于执行上述方法的相应的单元或部件。该电子设备包括的单元可以通过软件和/或硬件方式实现。
第三方面，本申请实施例提供一种电子设备，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得该电子设备实现上述第一方面、或第一方面任一种可能的实施方式中所述的方法。
第四方面，本申请实施例提供一种电子设备，该电子设备用于实现上述第一方面、或第一方面任一种可能的实施方式中所述的方法。
第五方面，本申请实施例提供一种计算机可读介质，其上存储有计算机程序或指令，所述计算机程序或指令被执行时使得计算机执行上述第一方面、或第一方面任一种可能的实施方式中所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，其包括计算机程序代码，所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面、或第一方面任一种可能的实施方式中所述的方法。
第七方面，本申请实施例提供一种芯片，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得该芯片实现上述第一方面、或第一方面任一种可能的实施方式中所述的方法。
第八方面，本申请实施例提供一种车，包括：上述第二方面所述的电子设备；或者上述第三方面所述的电子设备；或者上述第四方面所述的电子设备；或者上述第七方面所述的芯片。
可以理解的，上述提供的任一种电子设备、芯片、计算机可读介质、计算机程序产品或车等均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。
附图说明
图1为本申请实施例提供的图像坐标系与空间坐标系间的变换关系的示意图；
图2为本申请实施例提供的交互系统的示意图；
图3为本申请实施例提供的电子设备的硬件结构示意图；
图4为本申请实施例提供的交互方法的流程示意图一；
图5为本申请实施例提供的摄像机拍摄的图像的示意图；
图6为本申请实施例提供的手指所指方向的示意图一；
图7为本申请实施例提供的手指所指方向的示意图二；
图8为本申请实施例提供的手指所指方向的示意图三；
图9为本申请实施例提供的交互方法的流程示意图二；
图10为本申请实施例提供的估计点的示意图；
图11为本申请实施例提供的交互方法的流程示意图三；
图12为本申请实施例提供的交互方法的流程示意图四；
图13为本申请实施例提供的电子设备的结构示意图；
图14为本申请实施例提供的芯片的结构示意图。
具体实施方式
为方便理解本申请实施例的方案，首先对图像坐标系和空间坐标系之间的变换关系进行介绍：
图像坐标系是在摄像机拍摄的图像上建立的坐标系。该图像坐标系可以以摄像机拍摄的图像的中心为原点，上述图像坐标系是二维坐标系。空间坐标系是智能座舱的三维图纸对应的坐标系，或者智能座舱的三维模型对应的坐标系。例如，空间坐标系为智能座舱的计算机辅助设计(computer aided design，CAD)图纸的坐标系。空间坐标系是三维坐标系，空间坐标系也可以称为智能座舱三维模型的坐标系或者三维坐标系。
进一步的，上述三维图纸的信息或三维模型的信息可以预存储在智能座舱中的设备中；或者，上述三维图纸的信息或三维模型的信息可以从网络中下载。其中，三维图纸的信息用于指示智能座舱中装置或设备在该三维图纸对应的坐标系中的坐标。智能座舱的三维模型的信息用于指示智能座舱中装置或设备在该三维模型对应的坐标系中的坐标。
图像坐标系与空间坐标系间的变换关系可以如图1所示。图1中，二维坐标系o-xy为摄像机拍摄的图像q的图像坐标系。其中，x轴和y轴的交点为o，即o为图像坐标系的原点，图像平面q上任一点的坐标可以用图像坐标(x，y)表示。三维坐标系O-XYZ为空间坐标系，空间坐标系中的任一平面可以称为空间平面。其中，空间平面Q为空间坐标系中的任一平面(即空间平面Q为O-XYZ中的任一平面)，空间平面Q上任一点的坐标可以用空间坐标(X，Y，Z)表示。其中，图像平面q与空间平面Q有如下变换关系：q＝sHQ。
其中，q表示图像平面中的点的图像坐标，Q表示空间平面中的点的空间坐标，s为尺度比例因子，单应矩阵H＝MW。
其中，
Figure BDA0002958650170000041
M是摄像机的内参矩阵，fx表示摄像机中透镜物理焦距长度与成像的每个单元尺寸在x方向的乘积。fy表示摄像机中透镜物理焦距长度与成像的每个单元尺寸在y方向的乘积。cx表示投影坐标中心相对光轴在x方向的偏移，cy表示投影坐标中心相对光轴在y方向的偏移。成像的每个单元尺寸可以是摄像机拍摄的图像中的一个像素。
其中，W＝[R，t]，W是摄像机的外参矩阵。R为3*3的正交单位矩阵，也称为旋转矩阵，t为三维的平移向量。
在本申请实施例中，上述变换关系主要应用在以下两种示例情况：
情况1：若图像平面q与空间平面Q有上述变换关系，并且已知q上某一点的图像坐标，尺度比例因子以及单应矩阵H，可以根据上述图像平面与空间平面的变换关系计算该点在Q上的空间坐标。
例如，图1中，平面q上某一点的图像坐标为(x1，y1)，若摄像机的内参矩阵为M，摄像机的外参矩阵为W，尺度比例因子为s，则根据图像平面与空间平面的变换关系，可以得到以X1，Y1，Z1为未知数的方程：
Figure BDA0002958650170000042
其中，H＝MW，对该方程求解，可以得到该点在空间平面Q上的坐标(X1，Y1，Z1)。
情况2：若图像平面q与空间平面Q有上述变换关系，并且已知q中多个点的图像坐标、该多个点在空间平面Q中的空间坐标以及摄像机的内参矩阵，可以根据上述图像平面与空间平面的变换关系计算出尺度比例因子与摄像机的外参矩阵的乘积。
例如，图1中，Q1为空间平面Q上的一个矩形，矩形q1为矩形Q1根据上述图像平面与空间平面的变换关系，在图像平面q上映射的矩形。若矩形q1的4个角的图像坐标分别为(x1，y1)，(x2，y2)，(x3，y3)以及(x4，y4)，矩形Q1的4个角的空间坐标分别为(X1，Y1，Z1)，(X2，Y2，Z2)，(X3，Y3，Z3)以及(X4，Y4，Z4)，摄像机的内参矩阵为M，则根据图像平面与空间平面的变换关系可以得到以sH为未知数的超定方程：
Figure BDA0002958650170000051
并利用约束最小二乘法或随机抽样一致性等方法对该超定方程求解，可以得到sH，再将sH与摄像机的内参矩阵M做除法，得到尺度比例因子与摄像机的外参矩阵的乘积。
下面基于上述图像坐标系和空间坐标系之间的变换关系，结合附图对本申请实施例的实施方式进行详细描述。
本申请实施例提供的方法可以应用在任一需要识别手指方向的交互系统中。例如，该交互系统可以为智能座舱中的交互系统，或者其他需要识别手指方向的交互系统，例如智能家居系统等。其中，该智能座舱可以为车辆的智能座舱、火车的智能座舱或飞机的智能座舱等。本申请实施例提供的方法是以智能座舱为车辆的智能座舱为例介绍的，本申请实施例提供的方法应用在其他类型的交互系统的情况可以参考本申请实施例中的介绍，不予赘述。
下面仅以图2所示的交互系统为例，对本申请实施例提供的方法进行描述。
请参考图2，图2为本申请实施例提供的交互系统的架构示意图。图2所示的交互系统包括车机控制装置201和视觉感知装置202。车机控制装置201和视觉感知装置202通过有线或者无线连接(如蓝牙通信)。
其中，车机控制装置201可以控制或调节车内设备。例如，车机控制装置201可以调节车内空调的出风口。又例如，车机控制装置201可以控制增强现实(augmented reality，AR)平视显示器(head up display，HUD)显示相应的信息。
视觉感知装置202可以是传统摄像机或者智能摄像机。传统摄像机是具备摄像能力的摄像机。智能摄像机除了具备摄像能力，还具备图像处理功能和人工智能算法功能。视觉感知装置202可以部署在后视镜上方，或者车辆的智能座舱中的其他位置，不予限制。
可选的，视觉感知装置202为单目摄像机、双目摄像机或深度摄像机。可以理解的视觉感知装置202还可以是三目摄像机或多目摄像机，不予限制。
在一些实施例中，视觉感知装置202是传统摄像机，车机控制装置201可以获取手指的第一空间坐标，根据第一空间坐标，确定手指所指的第一方向，并根据第一方向，调节目标设备的参数；或者，显示目标物体的信息。具体的，可以参考下述图4或图9所示方法。
可选的，在这种情况下，车机控制装置201中存储或预配置有车辆的智能座舱的三维图纸的信息，或者车辆的智能座舱的三维模型的信息。
可以理解的，车机控制装置201也可以在使用到车辆的智能座舱的三维图纸对应的坐标系信息，或者车辆的智能座舱的三维模型对应的坐标系信息之前，从网络中下载车辆的智能座舱的三维图纸对应的坐标系信息，或者车辆的智能座舱的三维模型对应的坐标系信息。
在一些实施例中，视觉感知装置202是智能摄像机，该摄像机可以获取手指的第一空间坐标，并向车机控制装置201发送第一空间坐标的信息。车机控制装置201接收到第一空间坐标的信息，可以根据第一空间坐标的信息确定手指所指的第一方向，并根据第一方向，调节目标设备的参数；或者，显示目标物体的信息。具体的，可以参考下述图11或图12所示的方法。
可选的，在这种情况下，车机控制装置201和视觉感知装置202中存储或预配置有车辆的智能座舱的三维图纸的信息，或者车辆的智能座舱的三维模型的信息。
可以理解的，车机控制装置201和视觉感知装置202也可以在使用到车辆的智能座舱的三维图纸对应的坐标系信息，或者车辆的智能座舱的三维模型对应的坐标系信息之前，从网络中下载车辆的智能座舱的三维图纸对应的坐标系信息，或者车辆的智能座舱的三维模型对应的坐标系信息。
应注意，图2所示的交互系统仅用于举例，并非用于限制本申请的技术方案。本领域技术人员应当明白，在具体实现过程中，该交互系统还可以包括其他设备。
可选的，本申请实施例图2中的各装置，例如车机控制装置201或视觉感知装置202，可以是一个装置内的一个功能模块。可以理解的是，该功能模块既可以是硬件设备中的元件，例如终端设备或网络设备中的通信芯片或通信部件，也可以是在硬件上运行的软件功能模块，或者是平台(例如，云平台)上实例化的虚拟化功能。
例如，图2中的各装置均可以通过图3中的电子设备300来实现。图3所示为可适用于本申请实施例的电子设备的硬件结构示意图。该电子设备300可以包括至少一个处理器301，通信线路302，存储器303以及至少一个通信接口304。
处理器301可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路302可包括一通路，在上述组件之间传送信息，例如总线。
通信接口304，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网接口，无线接入网接口(radio access network，RAN)，无线局域网接口(wirelesslocal area networks，WLAN)等。
存储器303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路302与处理器相连接。存储器也可以和处理器集成在一起。本申请实施例提供的存储器通常可以具有非易失性。其中，存储器303用于存储执行本申请方案所涉及的计算机执行指令，并由处理器301来控制执行。处理器301用于执行存储器303中存储的计算机执行指令，从而实现本申请实施例提供的方法。
可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。
在具体实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图3中的CPU0和CPU1。
在具体实现中，作为一种实施例，电子设备300可以包括多个处理器，例如图3中的处理器301和处理器307。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，电子设备300还可以包括输出设备305和输入设备306。输出设备305和处理器301通信，可以以多种方式来显示信息。例如，输出设备305可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备306和处理器301通信，可以以多种方式接收用户的输入。例如，输入设备306可以是鼠标、键盘、触摸屏设备或传感设备等。
需要说明的是，若视觉感知装置为智能摄像机，并且该视觉感知装置是通过电子设备300来实现的，则电子设备300中的CPU可以替换为图形处理器(graphics processingunit，GPU)。
下面结合图1、图2和图3对本申请实施例提供的交互方法进行具体阐述。其中，下述实施例中的装置可以具备图3所示部件。
需要说明的是，本申请下述实施例中，“示例性的”、“可选的”或者“例如”等词用于表示作例子、例证或说明。本申请下述实施例中被描述为“示例性的”、“可选的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“可选的”或者“例如”等词旨在以具体方式呈现相关概念。
需要说明的是，在本申请的描述中，“第一”、或“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。本申请中的“第一方向”等具有不同编号的方向，该编号仅为用于上下文行文方便，不同的次序编号本身不具有特定技术含义，比如，第一方向，第二方向等，可以理解为是一系列方向中的一个或者任一个。
可以理解的，本申请实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
可以理解的，本申请实施例中，视觉感知装置或车机控制装置可以执行本申请实施例中的部分或全部步骤，这些步骤仅是示例，本申请实施例还可以执行其它步骤或者各种步骤的变形。此外，各个步骤可以按照本申请实施例呈现的不同的顺序来执行，并且有可能并非要执行本申请实施例中的全部步骤。
在本申请实施例中，一种交互方法的执行主体的具体结构，本申请实施例并未特别限定，只要可以通过运行记录有本申请实施例的一种交互方法的代码的程序，以根据本申请实施例的一种交互方法进行通信即可，例如，本申请实施例提供的一种交互方法的执行主体可以是视觉感知装置，或者为应用于视觉感知装置的部件，例如，芯片或处理器，本申请对此不进行限定。或者，本申请实施例提供的一种交互方法的执行主体可以是车机控制装置，或者为应用于车机控制装置中的部件，例如，芯片或处理器，本申请对此不进行限定。下述实施例以一种交互方法的执行主体分别为视觉感知装置、车机控制装置为例进行描述。
首先，以视觉感知装置为传统摄像机为例，介绍本申请实施例提供的交互方法。
请参考图4，为本申请实施例提供的一种交互方法。该交互方法包括步骤401-步骤403。
步骤401：车机控制装置获取手指的第一空间坐标。
其中，车机控制装置可以是图2中的车机控制装置201。第一空间坐标为三维坐标系中的坐标。例如，第一空间坐标为车辆的智能座舱的三维图纸(如CAD图纸)对应的坐标系中的坐标，或者车辆的智能座舱的三维模型对应的坐标系中的坐标。该车辆为车机控制装置所在的车辆。第一空间坐标包括手指上至少两个点的空间坐标。
可选的，为了避免误操作，车机控制装置在预设时间段内，车机控制装置检测到手指所指方向在第一范围内的情况下，获取手指的第一空间坐标。
其中，第一范围为与手指的初始方向的夹角小于或等于第一阈值的范围。手指的初始方向为在预设时间段的初始时刻，检测到的手指的方向。第一阈值可以在出厂前设置，例如，根据大数据统计来设置合适的第一阈值。该第一阈值也可以在出厂后由用户设置。
示例性的，以预设时间段为2秒，上述第一阈值为10°为例，若在2秒内的某一时刻，车机控制装置检测到的手指所指方向与初始方向的夹角为30°，则车机控制装置不触发获取手指的第一空间坐标的操作。若在2秒内的任一时刻，车机控制装置检测到的手指所指方向与初始方向的夹角都小于或等于10°，则车机控制装置获取手指的第一空间坐标。
可选的，车机控制装置通过如下方式获取第一空间坐标：车机控制装置获取摄像机拍摄的图像中手指的图像坐标；根据手指的图像坐标、摄像机的内参矩阵和物理变换矩阵得到第一空间坐标。
其中，手指的图像坐标为二维坐标系中的坐标。例如，手指的图像坐标为手指在摄像机的坐标系中的坐标。摄像机的坐标系也可以称为在摄像机拍摄的图像上建立的坐标系。摄像机可以是图2中的视觉感知装置202。摄像机的内参矩阵和物理变换矩阵可以用于指示二维坐标系与三维坐标系之间的变换关系。
首先，介绍一种车机控制装置获取摄像机拍摄的图像中手指的图像坐标的示例性过程：
一种可能的实现方式，车机控制装置获取摄像机拍摄的图像中手指的图像坐标，包括：车机控制装置接收来自摄像机的摄像机拍摄的图像；车机控制装置根据摄像机拍摄的图像，得到摄像机拍摄的图像中，手指的图像坐标。
示例性的，摄像机拍摄的图像可以如图5中的(a)所示。手指的图像坐标为摄像机拍摄的图像中手指的关键像素点的坐标。手指的关键像素点可以包括能够体现手指所指方向的多个像素点。示例性的，手指的关键像素点包括手指关节上至少两个像素点。例如，手指的关键像素点可以如图5中的(b)所示。
进一步的，车机控制装置确定摄像机拍摄的图像中手指的关键像素点，并获取手指的图像坐标。例如，车机控制装置可以通过深度学习等方法确定摄像机拍摄的图像中手指的关键像素点。
进一步的，为了减小车机控制装置的计算量，车机控制装置可以先将摄像机拍摄的图像中的手部裁剪出来，再根据裁剪出的手部获取手指的图像坐标。示例性的，车机控制装置在摄像机拍摄的图像中确定手部框，并将手部框裁剪下来；车机控制装置确定手部框中手指的关键像素点，并获取手指的图像坐标。
其中，手部框中有手腕和手。例如，车机控制装置确定的手部框可以如图5中的(a)所示，车机控制装置裁剪下来的手部框可以如图5中的(b)所示。
示例性的，车机控制装置可以通过目标检测器，例如SSD(single shot multiboxdetector)或YOLO(you only look once)的版本3(v3)等，在摄像机拍摄的图像中确定手部框的位置。可以理解的，上述SSD、YOLO v3仅是示例性的，车机控制装置还可以通过其他目标检测器确定手部框的位置，不予限制。
示例性的，车机控制装置可以基于Openpose模型确定手指的关键像素点。可以理解的，在实际应用中，车机控制装置还可以通过其他模型或软件确定手指的关键像素点，不予限制。
一种可能的实现方式，车机控制装置在以下情形下获取摄像机拍摄的图像中手指的图像坐标：
情形1：车机控制装置接收到来自摄像机的摄像机拍摄的图像，获取摄像机拍摄的图像中手指的图像坐标。在这种情形下，摄像机拍摄的图像中有手部。也就是说，摄像机在检测到拍摄的图像中有手部时，向车机控制装置发送拍摄的图像。车机控制设备装置接收到拍摄的图像，获取拍摄的图像中手指的图像坐标。
情形2：车机控制装置接收到来自摄像机的摄像机拍摄的图像，并检测到摄像机拍摄的图像中有手部时，获取摄像机拍摄的图像中手指的图像坐标。在这种情形下，摄像机拍摄的图像中不一定有手部。也就是说，摄像机拍摄到图像就向车机控制装置发送拍摄的图像。
下面介绍根据手指的图像坐标、摄像机的内参矩阵和物理变换矩阵得到第一空间坐标的具体过程：
其中，摄像机的内参矩阵可以反映摄像机的自身属性，例如，摄像机的内参。摄像机的内参可以包括摄像机的视场角(field of vision，FOV)、焦距和畸变量等。示例性的，摄像机的内参矩阵可以通过张正友的棋盘网格法得到。
其中，物理变换矩阵为sW，即物理变换矩阵为尺度比例因子与摄像机的外参矩阵的乘积。摄像机的外参矩阵可以反映摄像机的外部属性，例如，摄像机的外参。摄像机的外参包括但不限于摄像机的位置，摄像机高度，以及摄像机的俯仰角等。
在一种可能的实现方式中，物理变换矩阵可以通过如下方法得到：车机控制装置获取摄像机的内参矩阵；车机控制装置获取摄像机拍摄的图像中多个估计点的图像坐标和该多个估计点的空间坐标；车机控制装置根据摄像机的内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标，得到物理变换矩阵。具体的，可以参考下述图9所示方法中所述，不予赘述。
需要说明的是，车机控制装置获取物理变换矩阵的过程为预处理过程，即车机控制装置获取物理变换矩阵，是在车机控制装置执行图4所示方法之前执行。可以理解的，若摄像机的外参没有变化的情况下，车机控制装置无需再次获取物理变换矩阵。
可以理解的，物理变换矩阵也可以是预设置在车机控制装置中的。也就是说，车辆在出厂时，可以将物理变换矩阵预设置在车机控制装置中。后续，若摄像机的外参发生变化，车机控制装置可以通过图9所示的方法重新获取物理变换矩阵。
一种可能的实现方式，车机控制装置根据手指的图像坐标、摄像机的内参矩阵和物理变换矩阵得到第一空间坐标，包括：车机控制装置将手指的图像坐标、物理变换矩阵和摄像机的内参矩阵进行坐标变换，得到第一空间坐标。
其中，第一空间坐标包括手指上至少两个点的空间坐标。手指的图像坐标与第一空间坐标一一对应。手指的图像坐标中的任一关键像素点的坐标，与该关键像素点的坐标对应的空间坐标满足公式：
Figure BDA0002958650170000091
其中，(x，y)为手指的图像坐标中的任一关键像素点的坐标，(X，Y，Z)为与该关键像素点的坐标对应的空间坐标，sW物理变换矩阵，M为摄像机的内参矩阵。
示例性的，以手指的图像坐标包括(x1，y1)和(x2，y2)，物理变换矩阵为sW，摄像机的内参矩阵为M为例，第一空间坐标包括(X1，Y1，Z1)和(X2，Y2，Z2)，其中，(X1，Y1，Z1)满足
Figure BDA0002958650170000092
(X2，Y2，Z2)满足
Figure BDA0002958650170000093
步骤402：车机控制装置根据第一空间坐标确定手指所指的第一方向。
可选的，车机控制装置根据第一空间坐标确定手指所指的第一方向，包括：车机控制装置根据第一空间坐标包括的至少两个点的空间坐标拟合直线，该直线的方向为该第一方向。该直线的方向为该至少两个点中，距手腕近的点指向距手腕远的点。
示例性的，车机控制装置根据第一空间坐标包括的至少两个点的空间坐标拟合的直线可以如图6所示。图6中第一空间坐标包括3个点的空间坐标，车机控制装置根据该3个点的空间坐标拟合直线，手指所指的方向为该3个点中，距手腕近的点指向距手腕远的点。
可以理解的，第一空间坐标包括的点的个数越多，车机控制装置拟合的直线与手指的姿态越相近，车机控制装置确定的手指所指的方向越准确。又因为第一空间坐标与手指的图像坐标一一对应，所以步骤401中车机控制装置获取的手指的图像坐标中手指的关键像素点的坐标越多，手指所指的方向越准确。
步骤403：车机控制装置根据第一方向，调节目标设备的参数，或者，显示目标物体的信息。
首先，介绍车机控制装置根据第一方向调节目标设备的参数的示例性的过程：
可选的，目标设备可以通过如下任一种方式确定：根据手指所指的第二方向确定；或者，用户通过按键的方式选择目标设备；或者，用户通过语音交互的方式选择目标设备。
进一步的，手指所指的第二方向可以根据用于确定目标设备的手指的第二空间坐标得到。示例性的，车机控制装置获取手指的第二空间坐标；车机控制装置根据第二空间坐标，确定手指所指的第二方向；车机控制装置将该第二方向上的设备，确定为目标设备。其中，第二空间坐标为三维坐标系中的坐标。
可以理解的，车机控制装置获取手指的第二空间坐标，根据第二空间坐标，确定手指所指的第二方向的过程，可以参考上述步骤401-步骤402中车机控制装置得到第一方向的过程，不予赘述。
进一步的，车机控制装置可以将第二方向上第一个设备确定为目标设备。例如，车机控制装置确定第二方向上第一个设备为车窗，将车窗作为目标设备。
一种可能的实现方式，根据第一方向调节目标设备的参数，包括：根据第一方向，调节车辆中车窗的参数；或者，根据第一方向，调节车辆中天窗的参数；或者，根据第一方向，调节车辆中空调的参数。
示例性的，如图7所示，图7中的(a)中所示的手指的方向可以调节车窗的参数，例如，将控制车窗开关程度的参数调小。图7中的(b)中所示的手指的方向可以调节车辆天窗的参数，例如，将控制天窗开关程度的参数调小。图7中的(c)中所示的手指的方向可以调节空调的参数，例如，将控制空调出风方向的参数调大。
下面介绍车机控制装置根据第一方向显示目标物体的信息的具体过程：
其中，目标物体为交互区域中的物体；或者，目标物体为第一方向上第一个物体。交互区域为第一方向覆盖的区域。示例性的，交互区域为与第一方向夹角小于或等于第二阈值的区域。例如，交互区域可以如图8中的803所示。
可选的，目标物体为交互区域中的全部或部分物体。目标物体为交互区域中的部分物体时，该目标物体为交互区域中，与第一方向夹角小于或等于第三阈值的物体。第二阈值大于第三阈值。
上述第二阈值或第三阈值可以在出厂前设置，例如，根据大数据统计来设置合适的第二阈值或第三阈值。第二阈值或第三阈值也可以在出厂后由用户设置。
可以理解的，第二阈值可以和第一阈值相同也可以不同。第三阈值可以和第一阈值相同也可以不同。
一种可能的实现方式，目标物体为交互区域中的物体，车机控制装置根据第一方向，控制AR-HUD在显示界面(例如车辆的挡风玻璃)上显示该物体的相关信息。
示例性的，如图8所示，区域801为AR-HUD在挡风玻璃上显示的图像，车机控制装置根据第一方向，控制AR-HUD在挡风玻璃上显示目标物体802的相关信息，如**酒店等等。
另一种可能的实现方式，目标物体为第一方向上第一个物体，车机控制装置根据第一方向，控制AR-HUD在显示界面(例如车辆的挡风玻璃)上显示目标物体的信息。例如，若第一方向上第一个物体为空调，车机控制装置控制AR-HUD在挡风玻璃上显示车内温度、车内湿度和出风模式等等。
基于图4所示的方法，车机控制装置可以获取第一空间坐标，根据第一空间坐标确定手指所指的第一方向，并根据第一方向调节目标设备的参数或者显示目标物体的信息。一方面，在车辆的智能座舱中，手指可以指向任一方向，不同方向可以对应车辆的智能座舱的不同功能，因此根据手指所指的方向可以实现不同的功能。另一方面，相比于根据手势对车辆的智能座舱内的设备进行调节，本申请实施例提供的方法还可以根据手指所指的方向显示目标物体的信息，增加了人机交互的方式。
进一步可选的，如图9所示，图4所示方法中，物理变换矩阵可以通过步骤404-步骤406得到：
步骤404：车机控制装置获取摄像机的内参矩阵。
在一种可能的实现方式中，车机控制装置可以通过张正友的棋盘网格法获取摄像机的内参矩阵。
步骤405：车机控制装置获取摄像机拍摄的图像中多个估计点的图像坐标和该多个估计点的空间坐标。
其中，多个估计点的图像坐标为二维坐标系中的坐标。例如，多个估计点的图像坐标为该多个估计点在摄像机拍摄的图像中的坐标。多个估计点的空间坐标为三维坐标系中的坐标。例如，该多个估计点的空间坐标为该多个估计点在车辆的智能座舱的三维图纸对应的坐标系中的坐标，或者，车辆的智能座舱的三维模型对应的坐标系中的坐标。在这种情况下，车机控制装置中存储有三维图纸的信息或三维模型的信息。
该多个估计点可以为车辆的智能座舱中易于识别的点，例如，车辆的智能座舱中部件的角点，如此可以减少计算物理变换矩阵的误差。示例性的，多个估计点可以如图10中所示。
在一种可能的实现方式中，车机控制装置确定多个估计点；车机控制装置获取摄像机拍摄的图像，并根据摄像机拍摄的图像获取多个估计点的图像坐标；车机控制装置根据车辆的三维图纸获取多个估计点的空间坐标。
需要说明的是，本申请实施例不限制估计点的个数。但是本领域技术人员应理解，估计点的个数越多，计算出的物理变换矩阵越准确。
步骤406：车机控制装置根据摄像机的内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标，得到物理变换矩阵。
可选的，车机控制装置根据摄像机的内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标，得到物理变换矩阵，包括：车机控制装置根据多个估计点的图像坐标、多个估计点的空间坐标以及摄像机的内参矩阵，得到以物理变换矩阵为未知数的方程组，通过求解该方程组，得到摄像机的外参对应的该物理变换矩阵。
示例性的，以多个估计点的个数为8，该8个估计点的空间坐标分别为(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)、(X4，Y4，Z4)、(X5，Y5，Z5)、(X6，Y6，Z6)、(X7，Y7，Z7)以及(X8，Y8，Z8)，该8个估计点的图像坐标分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)、(x5，y5)、(x6，y6)、(x7，y7)以及(x8，y8)为例，则根据多个估计点的空间坐标、多个估计点的图像坐标以及摄像机的内参矩阵(下述方程组中的M)，可以得到如下以物理变换矩阵为未知数的方程组：
Figure BDA0002958650170000121
利用约束最小二乘法或随机抽样一致性等方法可以对上述方程进行求解，得到sW，即，物理变换矩阵。
基于图9所示的方法，车机控制装置可以获取摄像机的内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标，根据内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标得到物理变换矩阵。如此，车机控制装置可以确定二维坐标系与三维坐标系之间的变换关系，后续可以根据该变换关系将摄像机拍摄的图像中手指的图像坐标转换为手指的空间坐标，从而可以确定手指所指的方向。
上述是以视觉感知装置为传统摄像机为例，介绍的本申请实施例提供的交互方法，除此之外，视觉感知装置还可以是智能摄像机。下面以视觉感知装置为智能摄像机为例，介绍的本申请实施例提供的交互方法。
如图11所示，为本申请实施例提供的又一种交互方法。该交互方法包括步骤1101-步骤1104。
步骤1101：摄像机获取手指的第一空间坐标。
其中，该摄像机可以是图2中的视觉感知装置202。步骤1101的介绍可以参考上述步骤401中对应的描述，不予赘述。
步骤1102：摄像机向车机控制装置发送第一空间坐标的信息。
其中，车机控制装置可以是图2中的车机控制装置201。第一空间坐标的信息可以用于指示第一空间坐标。
步骤1103：车机控制装置接收来自摄像机的第一空间坐标的信息，根据第一空间坐标确定手指所指的第一方向。
车机控制装置根据第一空间坐标确定手指所指的第一方向的过程，可以参考上述步骤402中对应的描述，不予赘述。
步骤1104：车机控制装置根据第一方向，调节目标设备的参数，或者，显示目标物体的信息。
步骤1104的介绍可以参考上述步骤403中所述，不予赘述。
基于图11所示的方法，摄像机可以获取第一空间坐标，并向车机控制装置发送第一空间坐标的信息。车机控制装置接收到该第一空间坐标的信息，可以根据第一空间坐标确定手指所指的第一方向，并根据第一方向调节目标设备的参数或者显示目标物体的信息。一方面，在车辆的智能座舱中，手指可以指向任一方向，不同方向可以对应车辆的智能座舱的不同功能，因此根据手指所指的方向可以实现不同的功能。另一方面，相比于根据手势对车辆的智能座舱内的设备进行调节，本申请实施例提供的方法还可以根据手指所指的方向显示目标物体的信息，增加了人机交互的方式。
进一步可选的，如图12所示，图11所示方法中，物理变换矩阵可以通过步骤1105-步骤1107得到：
步骤1105：摄像机获取摄像机的内参矩阵。
步骤1106：摄像机获取摄像机拍摄的图像中多个估计点的图像坐标和该多个估计点的空间坐标。
步骤1107：摄像机根据摄像机的内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标，得到物理变换矩阵。
步骤1105-步骤1107的介绍可以参考上述步骤404-步骤406中对应的介绍，不予赘述。
基于图12所示的方法，摄像机可以获取摄像机的内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标，根据内参矩阵、多个估计点的图像坐标和多个估计点的空间坐标得到物理变换矩阵。如此，摄像机可以确定二维坐标系与三维坐标系之间的变换关系，后续可以根据该变换关系将摄像机拍摄的图像中手指的图像坐标转换为第一空间坐标，从而可以将第一空间坐标的信息发送给车机控制装置，以便车机控制装置确定手指所指的方向。
上述主要从各个网元之间交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是，上述车机控制装置或者摄像机等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法操作，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对车机控制装置或者摄像机进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
比如，以采用集成的方式划分各个功能模块的情况下，图13示出了一种电子设备的结构示意图。该电子设备可以为车机控制装置或者摄像机中的芯片或者片上系统，该电子设备可以用于执行上述实施例中涉及的车机控制装置或者摄像机的功能。
作为一种可能的实现方式，图13所示的电子设备包括：获取模块1301和确定模块1302。
获取模块1301，用于获取手指的第一空间坐标，该第一空间坐标为三维坐标系中的坐标。
确定模块1302，用于根据该第一空间坐标，确定该手指所指的第一方向。
确定模块1302，还用于根据该第一方向，调节目标设备的参数，或者，显示目标物体的信息。
可选的，获取模块1301，还用于获取该手指的第二空间坐标，该第二空间坐标为该三维坐标系中的坐标；确定模块1302，还用于根据该第二空间坐标，确定该手指所指的第二方向；确定模块1302，还用于将该第二方向上的设备，确定为该目标设备。
可选的，获取模块1301，具体用于在预设时间段内，检测到该手指所指方向在第一范围内的情况下，获取该手指的第一空间坐标；其中，该第一范围为与该手指的初始方向的夹角小于或等于第一阈值的范围，该初始方向为在该预设时间段的初始时刻，检测到的该手指的方向。
可选的，获取模块1301，具体用于获取摄像机拍摄的图像中该手指的图像坐标，该手指的图像坐标为二维坐标系中的坐标；获取模块1301，还具体用于根据该手指的图像坐标、该摄像机的内参矩阵和物理变换矩阵得到该第一空间坐标，该摄像机的内参矩阵和该物理变换矩阵用于指示该二维坐标系与该三维坐标系之间的变换关系。
可选的，获取模块1301，还用于获取该摄像机拍摄的图像中多个估计点的图像坐标和该多个估计点的空间坐标，该多个估计点的图像坐标为该二维坐标系中的坐标，该多个估计点的空间坐标为该三维坐标系中的坐标；确定模块1302，还用于根据该摄像机的内参矩阵、该多个估计点的图像坐标和该多个估计点的空间坐标得到该物理变换矩阵。
可选的，该物理变换矩阵为预设置的。
可选的，该摄像机为单目摄像机、双目摄像机或深度摄像机。
可选的，该目标物体为交互区域中的物体；该交互区域为该第一方向覆盖的区域。
可选的，该二维坐标系为摄像机对应的坐标系；该三维坐标系为该智能座舱的三维模型对应的坐标系，或者该智能座舱的三维图纸对应的坐标系。
可选的，确定模块1302，具体用于根据该第一方向，调节该车辆中车窗的参数；或者，确定模块1302，具体用于根据该第一方向，调节该车辆中天窗的参数；或者，确定模块1302，具体用于根据该第一方向，调节该车辆中空调的参数。
其中，上述方法实施例涉及的各操作的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在本实施例中，该电子设备以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定ASIC，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术人员可以想到该电子设备可以采用图3所示的形式。
比如，图3中的处理器301可以通过调用存储器303中存储的计算机执行指令，使得电子设备执行上述方法实施例中的交互方法。
示例性的，图13中的获取模块1301和确定模块1302的功能/实现过程可以通过图3中的处理器301调用存储器303中存储的计算机执行指令来实现。
由于本实施例提供的电子设备可执行上述的交互方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
图14为本申请实施例提供的一种芯片的结构示意图。芯片140包括一个或多个处理器1401以及接口电路1402。可选的，所述芯片140还可以包含总线1403。其中：
处理器1401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1401可以是通用处理器、数字通信器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
接口电路1402用于数据、指令或者信息的发送或者接收。处理器1401可以利用接口电路1402接收的数据、指令或者其它信息，进行加工，可以将加工完成信息通过接口电路1402发送出去。
可选的，芯片140还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)。
可选的，存储器存储了可执行软件模块或者数据结构，处理器1401可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
可选的，芯片140可以使用在本申请实施例涉及的电子设备中。可选的，接口电路1402可用于输出处理器1401的执行结果。关于本申请的一个或多个实施例提供的交互方法可参考前述各个实施例，这里不再赘述。
需要说明的，处理器1401、接口电路1402各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种交互方法，其特征在于，应用于智能座舱，所述方法包括：
获取手指的第一空间坐标，所述第一空间坐标为三维坐标系中的坐标；
根据所述第一空间坐标，确定所述手指所指的第一方向；
根据所述第一方向，调节目标设备的参数，或者，显示目标物体的信息。
2.根据权利要求1所述的方法，其特征在于，所述获取手指的第一空间坐标之前，所述方法还包括：
获取所述手指的第二空间坐标，所述第二空间坐标为所述三维坐标系中的坐标；
根据所述第二空间坐标，确定所述手指所指的第二方向；
将所述第二方向上的设备，确定为所述目标设备。
3.根据权利要求1或2所述的方法，其特征在于，所述获取手指的第一空间坐标，包括：
在预设时间段内，检测到所述手指所指方向在第一范围内的情况下，获取所述手指的第一空间坐标；其中，所述第一范围为与所述手指的初始方向的夹角小于或等于第一阈值的范围，所述初始方向为在所述预设时间段的初始时刻，检测到的所述手指的方向。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取手指的第一空间坐标，包括：
获取摄像机拍摄的图像中所述手指的图像坐标，所述手指的图像坐标为二维坐标系中的坐标；
根据所述手指的图像坐标、所述摄像机的内参矩阵和物理变换矩阵得到所述第一空间坐标，所述摄像机的内参矩阵和所述物理变换矩阵用于指示所述二维坐标系与所述三维坐标系之间的变换关系。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述摄像机拍摄的图像中多个估计点的图像坐标和所述多个估计点的空间坐标，所述多个估计点的图像坐标为所述二维坐标系中的坐标，所述多个估计点的空间坐标为所述三维坐标系中的坐标；
根据所述摄像机的内参矩阵、所述多个估计点的图像坐标和所述多个估计点的空间坐标得到所述物理变换矩阵。
6.根据权利要求4所述的方法，其特征在于，所述物理变换矩阵为预设置的。
7.根据权利要求4-6中任一项所述的方法，其特征在于，所述摄像机为单目摄像机、双目摄像机或深度摄像机。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述目标物体为交互区域中的物体；所述交互区域为所述第一方向覆盖的区域。
9.根据权利要求4或5所述的方法，其特征在于，所述二维坐标系为摄像机对应的坐标系；所述三维坐标系为所述智能座舱的三维模型对应的坐标系，或者所述智能座舱的三维图纸对应的坐标系。
10.根据权利要求1-9中任一项所述的方法，其特征在于，所述智能座舱为车辆中的座舱，所述根据所述第一方向，调节目标设备的参数，包括：
根据所述第一方向，调节所述车辆中车窗的参数；或者，
根据所述第一方向，调节所述车辆中天窗的参数；或者，
根据所述第一方向，调节所述车辆中空调的参数。
11.一种电子设备，其特征在于，所述电子设备应用于智能座舱，所述电子设备包括：获取模块和确定模块；
所述获取模块，用于获取手指的第一空间坐标，所述第一空间坐标为三维坐标系中的坐标；
所述确定模块，用于根据所述第一空间坐标，确定所述手指所指的第一方向；
所述确定模块，还用于根据所述第一方向，调节目标设备的参数，或者，显示目标物体的信息。
12.根据权利要求11所述的电子设备，其特征在于，
所述获取模块，还用于获取所述手指的第二空间坐标，所述第二空间坐标为所述三维坐标系中的坐标；
所述确定模块，还用于根据所述第二空间坐标，确定所述手指所指的第二方向；
所述确定模块，还用于将所述第二方向上的设备，确定为所述目标设备。
13.根据权利要求11或12所述的电子设备，其特征在于，
所述获取模块，具体用于在预设时间段内，检测到所述手指所指方向在第一范围内的情况下，获取所述手指的第一空间坐标；其中，所述第一范围为与所述手指的初始方向的夹角小于或等于第一阈值的范围，所述初始方向为在所述预设时间段的初始时刻，检测到的所述手指的方向。
14.根据权利要求11-13中任一项所述的电子设备，其特征在于，
所述获取模块，具体用于获取摄像机拍摄的图像中所述手指的图像坐标，所述手指的图像坐标为二维坐标系中的坐标；
所述获取模块，还具体用于根据所述手指的图像坐标、所述摄像机的内参矩阵和物理变换矩阵得到所述第一空间坐标，所述摄像机的内参矩阵和所述物理变换矩阵用于指示所述二维坐标系与所述三维坐标系之间的变换关系。
15.根据权利要求14所述的电子设备，其特征在于，
所述获取模块，还用于获取所述摄像机拍摄的图像中多个估计点的图像坐标和所述多个估计点的空间坐标，所述多个估计点的图像坐标为所述二维坐标系中的坐标，所述多个估计点的空间坐标为所述三维坐标系中的坐标；
所述确定模块，还用于根据所述摄像机的内参矩阵、所述多个估计点的图像坐标和所述多个估计点的空间坐标得到所述物理变换矩阵。
16.根据权利要求14所述的电子设备，其特征在于，所述物理变换矩阵为预设置的。
17.根据权利要求14-16中任一项所述的电子设备，其特征在于，所述摄像机为单目摄像机、双目摄像机或深度摄像机。
18.根据权利要求11-17中任一项所述的电子设备，其特征在于，所述目标物体为交互区域中的物体；所述交互区域为所述第一方向覆盖的区域。
19.根据权利要求14或15所述的电子设备，其特征在于，所述二维坐标系为摄像机对应的坐标系；所述三维坐标系为所述智能座舱的三维模型对应的坐标系，或者所述智能座舱的三维图纸对应的坐标系。
20.根据权利要求11-19中任一项所述的电子设备，其特征在于，所述智能座舱为车辆中的座舱，
所述确定模块，具体用于根据所述第一方向，调节所述车辆中车窗的参数；或者，
所述确定模块，具体用于根据所述第一方向，调节所述车辆中天窗的参数；或者，
所述确定模块，具体用于根据所述第一方向，调节所述车辆中空调的参数。
21.一种电子设备，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得所述电子设备执行如权利要求1至10中任一项所述的方法。
22.一种车，其特征在于，包括：如权利要求11-20中任一项所述的电子设备。
CN202080004859.3A 2020-06-28 2020-06-28 交互方法及电子设备 Active CN112771480B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/098643 WO2022000149A1 (zh) 2020-06-28 2020-06-28 交互方法及电子设备

Publications (2)

Publication Number Publication Date
CN112771480A true CN112771480A (zh) 2021-05-07
CN112771480B CN112771480B (zh) 2022-04-12

Family

ID=75699481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004859.3A Active CN112771480B (zh) 2020-06-28 2020-06-28 交互方法及电子设备

Country Status (3)

Country Link
EP (1) EP4086731A4 (zh)
CN (1) CN112771480B (zh)
WO (1) WO2022000149A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023216580A1 (zh) * 2022-05-10 2023-11-16 华为技术有限公司 调节显示设备的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN105700674A (zh) * 2014-12-10 2016-06-22 现代自动车株式会社 手势识别设备、具有其的车辆以及用于控制车辆的方法
CN106648039A (zh) * 2015-10-30 2017-05-10 富泰华工业（深圳）有限公司 手势控制系统及方法
KR20180036327A (ko) * 2016-09-30 2018-04-09 포항공과대학교 산학협력단 표시 장치용 3차원 인터랙션 방법
CN110335292A (zh) * 2019-07-09 2019-10-15 北京猫眼视觉科技有限公司 一种基于图片跟踪实现模拟场景跟踪的方法及系统
CN111158478A (zh) * 2019-12-26 2020-05-15 维沃移动通信有限公司 响应方法及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001088681A1 (en) * 2000-05-17 2001-11-22 Koninklijke Philips Electronics N.V. Apparatus and method for indicating a target by image processing without three-dimensional modeling
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
DE102012019649A1 (de) * 2012-10-06 2014-04-10 Leopold Kostal Gmbh & Co. Kg Verfahren zur Erkennung von im freien Raum ausgeführten Körpergesten durch einen optischen Sensor und Vorrichtung zur Durchführung des Verfahrens
US8994652B2 (en) * 2013-02-15 2015-03-31 Intel Corporation Model-based multi-hypothesis target tracker
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
CN110045825B (zh) * 2018-03-27 2022-05-13 杭州凌感科技有限公司 用于车辆交互控制的手势识别系统
CN111158491A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种应用于车载hud的手势识别人机交互方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN105700674A (zh) * 2014-12-10 2016-06-22 现代自动车株式会社 手势识别设备、具有其的车辆以及用于控制车辆的方法
CN106648039A (zh) * 2015-10-30 2017-05-10 富泰华工业（深圳）有限公司 手势控制系统及方法
KR20180036327A (ko) * 2016-09-30 2018-04-09 포항공과대학교 산학협력단 표시 장치용 3차원 인터랙션 방법
CN110335292A (zh) * 2019-07-09 2019-10-15 北京猫眼视觉科技有限公司 一种基于图片跟踪实现模拟场景跟踪的方法及系统
CN111158478A (zh) * 2019-12-26 2020-05-15 维沃移动通信有限公司 响应方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023216580A1 (zh) * 2022-05-10 2023-11-16 华为技术有限公司 调节显示设备的方法和装置

Also Published As

Publication number Publication date
WO2022000149A1 (zh) 2022-01-06
EP4086731A1 (en) 2022-11-09
CN112771480B (zh) 2022-04-12
EP4086731A4 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
US9959461B2 (en) Vehicle gesture recognition system and method
WO2023000119A1 (zh) 手势识别方法、装置、系统及车辆
JP6453449B2 (ja) ボウル型イメージングシステムにおけるオブジェクト追跡
EP3033999B1 (en) Apparatus and method for determining the state of a driver
JP7038345B2 (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
CN110341617B (zh) 眼球追踪方法、装置、车辆和存储介质
CN104081307A (zh) 图像处理装置、图像处理方法和程序
EP4318186A1 (en) Multi-screen interaction method and apparatus, and terminal device and vehicle
US11282180B1 (en) Object detection with position, pose, and shape estimation
KR20180020274A (ko) 패널 변환
CN112771480B (zh) 交互方法及电子设备
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
US11537200B2 (en) Human-machine interaction method, system, processing device and computer readable storage medium
CN113840757B (zh) 一种显示屏调整方法及装置
CN115861080B (zh) 环视透明车底图像的拼接方法和终端设备
CN110895675B (zh) 用于确定3d空间中的对象的特征点的坐标的方法
US20200167005A1 (en) Recognition device and recognition method
CN111158489A (zh) 一种基于摄像头的手势交互方法及手势交互系统
CN117409395A (zh) 车辆控制方法、装置、系统、车辆及可读存储介质
JP2020086913A (ja) ジェスチャ検出装置、およびジェスチャ検出方法
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
CN111028357B (zh) 增强现实设备的软阴影处理方法和装置
US20230005172A1 (en) Method and System for Implementing Adaptive Feature Detection for VSLAM Systems
JP2020095671A (ja) 認識装置及び認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant