CN117891345A - 触觉信息交互方法、图像信息交互方法、设备及存储介质 - Google Patents
触觉信息交互方法、图像信息交互方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117891345A CN117891345A CN202410065308.8A CN202410065308A CN117891345A CN 117891345 A CN117891345 A CN 117891345A CN 202410065308 A CN202410065308 A CN 202410065308A CN 117891345 A CN117891345 A CN 117891345A
- Authority
- CN
- China
- Prior art keywords
- image
- equipment
- information interaction
- haptic
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种触觉信息交互方法、图像信息交互方法、设备及存储介质。触觉信息交互方法包括：获取对第一设备的触摸操作；控制与第一设备通讯连接的第二设备响应触摸操作；获取第二设备显示的图像；根据图像的轮廓和纹理生成触觉反馈信号；根据触觉反馈信号控制第一设备的振动器件振动。在用户对第一设备进行触摸操作的时候，第一设备可以控制无触觉感应的第二设备执行对应的操作指令，使得第二设备将显示的图像发送至第一设备。第一设备可以根据图像的轮廓和纹理生成触觉反馈信号，并根据触觉反馈信号控制振动器件振动，使得用户在第一设备操作的时候体验到第二设备的触觉反馈，提高了用户在操控设备时的体验感。
Description
技术领域
本发明涉及触觉交互技术领域，更具体而言，涉及到一种触觉信息交互方法、图像信息交互方法、设备及存储介质。
背景技术
触觉交互技术是一种人机交互技术，用户可以通过在触控屏上下发指令来实现对设备的操控。未来的触觉交互技术的设计可能会更加精细和多元化，用户对设备的操控也更加精确。
在相关技术中，已经出厂的设备存在配置限制，部分设备没有接触觉应功能，因此无法实现触觉交互技术，或者与触觉交互技术相关的软件和硬件不能够及时升级更新，导致已经出厂的设备不能够搭配到最新的触觉交互技术使用，用户在操控设备时的体验感变差。
发明内容
本发明实施方式提供一种触觉信息交互方法、图像信息交互方法、设备及存储介质。
本发明实施方式提供的触觉信息交互方法用于第一设备。触觉信息交互方法包括：获取对所述第一设备的触摸操作；控制与所述第一设备通讯连接的第二设备响应所述触摸操作；获取所述第二设备显示的图像；根据所述图像的轮廓和纹理生成触觉反馈信号；根据所述触觉反馈信号控制所述第一设备的振动器件振动。
在用户对第一设备进行触摸操作的时候，第一设备可以控制无触觉感应的第二设备执行对应的操作指令，使得第二设备将显示的图像发送至第一设备。
第一设备可以根据图像的轮廓和纹理生成触觉反馈信号，并根据触觉反馈信号控制振动器件振动，使得用户在第一设备操作的时候体验到第二设备的触觉反馈，提高了用户在操控设备时的体验感。
在某些实施方式中，在获取所述第二设备显示的图像之后，所述触觉信息交互方法包括：控制所述第一设备的显示装置显示所述第二设备显示的图像。
第一设备的显示装置显示第二设备显示的图像，使得用户在第一设备操作的时候体验到第二设备的视觉反馈，提高了用户在操控第一设备时的体验感。
在某些实施方式中，所述触摸操作包括触摸位置、触摸时间和触摸手势动作。
用户可以在第一设备上执行不同的触摸手势动作(滑动、点击、双击等)使得第二设备执行不同的操作指令。用户在第一设备的触摸位置和触摸时间不同，第二设备执行的操作指令也可以不同。
在某些实施方式中，所述触摸操作包括触摸位置，所述根据所述图像的轮廓和纹理生成触觉反馈信号，包括：处理所述图像以确定所述图像的轮廓和纹理；根据所述图像的轮廓和纹理确定所述第二设备的触觉反馈区域；在所述触摸位置与所述第二设备的触觉反馈区域相匹配的情况下，生成触觉反馈信号。
用户在第一设备的触摸位置与第二设备的触觉反馈区域相匹配的情况下，第一设备模拟用户触摸第二设备的触觉反馈区域的场景。第一设备生成触觉反馈信号，给用户提供在第二设备的触觉反馈区域上的触觉反馈。
在某些实施方式中，所述处理所述图像以确定所述图像的轮廓和纹理，包括：分割所述图像以确定所述图像的轮廓图和纹理图；根据所述图像的轮廓图确定所述图像的轮廓；根据所述图像的纹理图确定所述图像的纹理。
图像的轮廓图可以只保留图像的轮廓特征，有利于准确提供图像的轮廓特征。图像的纹理图可以只保留图像的纹理特征，有利于准确提供图像的纹理特征。
在某些实施方式中，所述根据所述图像的轮廓图确定所述图像的轮廓，包括：采用索贝尔算子计算所述轮廓图的水平边缘和垂直边缘，以确定所述轮廓图的表面梯度矩阵；采用多阶段边缘检测算法和所述表面梯度矩阵计算所述轮廓图的轮廓梯度矩阵，以确定所述图像的轮廓。
采用索贝尔算子可以初步确定轮廓图的水平边缘和垂直边缘。采用多阶边缘算子可以进一步计算确定轮廓梯度矩阵，处理得到的图像的轮廓更加准确。
在某些实施方式中，所述根据所述图像的纹理图确定所述图像的纹理，包括：根据预设梯度阈值和所述轮廓梯度矩阵构建比较矩阵；根据所述轮廓梯度矩阵和所述比较矩阵计算确定所述纹理图的纹理梯度矩阵，以确定所述图像的纹理。
由于纹理是由图像灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。
预设梯度阈值与轮廓梯度矩阵构建比较矩阵。比较矩阵和轮廓梯度矩阵之间的空间相关特性可以表示图像的纹理。
在某些实施方式中，所述触觉信息交互方法包括：控制所述第一设备的摄像头拍摄所述第二设备以获取所述第二设备显示的图像；根据所述图像的轮廓和纹理生成触觉反馈信号；根据所述触觉反馈信号控制所述第一设备的振动器件振动。
在第一设备和第二设备不能够通讯连接的时候，第一设备的控制器可以调用摄像头拍摄第二设备，并获取第二设备显示的图像。第一设备依然可以根据第二设备显示的图像对用户提供触觉反馈。
本发明实施方式提供的图像信息交互方法用于第二设备。所述图像信息交互方法包括：获取第一设备发出的控制信号，所述第一设备与所述第二设备通讯连接，所述控制信号基于对所述第一设备的触摸操作确定；根据所述控制信号发送所述第二设备显示的图像至与所述第一设备，以使所述第一设备根据所述图像的轮廓和纹理生成触觉反馈信号，并根据所述触觉反馈信号控制所述第一设备的振动器件振动。
在某些实施方式中，所述图像信息交互方法还包括：获取第一设备发出的控制信号，所述第一设备与所述第二设备通讯连接，所述控制信号基于对所述第一设备的触摸操作确定；根据所述第二设备显示的图像的轮廓和纹理生成触觉反馈信号；发送所述触觉反馈信号至所述第一设备，以使所述第一设备根据所述触觉反馈信号控制所述第一设备的振动器件振动。
在第二设备的图像处理功能比第一设备更加优秀的时候，可以让第二设备处于显示的图像，并根据图像的轮廓和纹理生成触觉反馈信号，并将触觉反馈信号发送到第一设备。
本发明实施方式提供的触觉交互设备包括触控器件、控制器以及振动器件。其中，所述触控器件用于获取对所述触觉交互设备的触摸操作。所述控制器用于控制与所述触觉交互设备通讯连接的外部设备响应所述触摸操作，所述控制器还用于获取所述外部设备显示的图像，并根据所述图像的轮廓和纹理生成触觉反馈信号。所述振动器件用于根据所述触觉反馈信号驱动所述振动器件振动。
本发明实施方式提供一种计算机可读存储介质。所述计算机可读存储介质用于存储计算机程序，所述计算机可读存储介质在被执行时实现上述任意一种实施方式的触觉信息交互方法或图像信息交互方法。
本发明实施方式提供一种触觉信息交互方法、图像信息交互方法、设备及存储介质。触觉信息交互方法用于第一设备。触觉信息交互方法包括：获取对第一设备的触摸操作；控制与第一设备通讯连接的第二设备响应触摸操作；获取第二设备显示的图像；根据图像的轮廓和纹理生成触觉反馈信号；根据触觉反馈信号控制第一设备的振动器件振动。
在用户对第一设备进行触摸操作的时候，第一设备可以控制无触觉感应的第二设备执行对应的操作指令，使得第二设备将显示的图像发送至第一设备。第一设备可以根据图像的轮廓和纹理生成触觉反馈信号，并根据触觉反馈信号控制振动器件振动，使得用户在第一设备操作的时候体验到第二设备的触觉反馈，提高了用户在操控设备时的体验感。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式触觉信息交互方法的流程示意图；
图2是本发明第一个实施方式第一设备和第二设备信息交互的示意图；
图3是本发明实施方式第一设备识别触摸操作的示意图；
图4是本发明实施方式图像轮廓和纹理信息生成触觉反馈信号的示意图；
图5是本发明实施方式第一设备的示意图；
图6是本发明第二个实施方式第一设备和第二设备信息交互的示意图；
图7是本发明实施方式第一设备调用摄像头拍摄第二设备的流程图；
图8是本发明第一设备拍摄第二设备的示意图。
具体实施方式
下面详细描述本发明的实施方式，的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
触觉交互技术是一种人机交互技术，用户可以通过在触控屏上下发指令来实现对设备的操控。未来的触觉交互技术的设计可能会更加精细和多元化，用户对设备的操控也更加精确。
在相关技术中，已经出厂的设备存在配置限制，部分设备没有接触觉应功能，因此无法实现触觉交互技术，或者与触觉交互技术相关的软件和硬件不能够及时升级更新，导致已经出厂的设备不能够搭配到最新的触觉交互技术使用，用户在操控设备时的体验感变差。
参照图1以及图2，本发明实施方式提供一种触觉信息交互方法。触觉信息交互方法用于第一设备100。在某些实施方式中，触觉信息交互方法包括：
步骤S110、获取对第一设备100的触摸操作；
步骤S120、控制与第一设备100通讯连接的第二设备200响应触摸操作；
步骤S130、获取第二设备200显示的图像；
步骤S140、根据图像的轮廓和纹理生成触觉反馈信号；
步骤S150、根据触觉反馈信号控制第一设备100的振动器件振动。
本发明还提供一种图像信息交互方法。图像信息交互方法用于第二设备200。图像信息交互方法包括：
步骤S210、获取第一设备100发出的控制信号，第一设备100与第二设备200通讯连接，控制信号基于对第一设备100的触摸操作确定；
步骤S220、根据控制信号发送第二设备200显示的图像至与第一设备100，以使第一设备100根据图像的轮廓和纹理生成触觉反馈信号，并根据触觉反馈信号控制第一设备100的振动器件振动。
在用户对第一设备100进行触摸操作的时候，第一设备100可以控制无触觉感应的第二设备200执行对应的操作指令，使得第二设备200将显示的图像发送至第一设备100。
第一设备100可以根据图像的轮廓和纹理生成触觉反馈信号，并根据触觉反馈信号控制振动器件振动，使得用户在第一设备100操作的时候体验到第二设备200的触觉反馈，提高了用户在操控设备时的体验感。
具体地，参照图2，触觉信息交互方法用于第一设备100，图像信息交互方法用于第二设备200。在第一设备100和第二设备200建立通讯连接之后，第一设备100和第二设备200可以进行信息交互。用户可以对第一设备100进行触摸操作来控制第二设备200执行相关的操作指令。
在步骤S110以及步骤S120中，第一设备100和第二设备200上可以预先安装有对应的通讯软件。例如，第一设备100上预先安装软件A，在第一设备100需要和第二设备200建立通讯连接的时候，用户可以在第一设备100上打开软件A，同时打开第一设备100的通信接口。用户可以在软件A上点击发起按钮，第一设备100对外发出建立通讯连接的请求信号。在第一设备100对外发出建立通讯连接的请求信号之后，用户可以在第二设备200上安装并打开软件B，在软件B的显示框上会弹出第一设备100请求建立通讯连接的信息，用户可以在软件B上操作响应第一设备100发出的请求信号，在第一设备100和第二设备200建立通讯连接。
在第一设备100和第二设备200建立通讯连接之后，用户可以对第一设备100进行触摸操作来控制第二设备200执行对应的操作指令。用户可以在第一设备100上的触摸手势动作(滑动、点击、双击等)对第二设备200下发不同的控制指令。
在步骤S210中，在第二设备200接收到第一设备100输出的控制指令后，第二设备200根据控制指令执行工作。用户在第一设备100上按下的手势不同，对第二设备200下发的控制指令不同，第二设备200执行的操作也不同。例如，用户手指可以在第一设备100上点击某一个位置并快速离开，第二设备200在某一个对应的位置上执行鼠标左键点击的指令。用户手指可以在第一设备200上从某一个位置滑动到另一个位置，第二设备200的鼠标某一个对应的位置移动到另一个对应的位置。
第一设备100在确定用户手指按下的时候可以提供简单的触觉反馈，表示第一设备100接收到用户的触摸操作。在第一设备100在确定用户手指按下之后，用户可以选择第一设备100的工作模式。
第一设备100的工作模式可以包括控制模式。其中，控制模式下的第一设备100在确定用户手指按下的时候，。第一设备100根据用户的触摸操作输出对应的控制指令至第二设备200，使得第二设备200能够根据用户在第一设备100上的触摸操作执行对应的控制指令。
第一设备100还可以包括精细触觉反馈的纹理模式，纹理模式下的第一设备100在接收到用户的触摸操作之后，可以进一步地给用户提供更加精细的触觉反馈。
在步骤S220中，在第二设备200接收到第一设备100输出的控制指令后，第二设备200可以发送第二设备200显示的图像至与第一设备100。第二设备200显示的图像可以是第二设备200的人机交互界面，第一设备100根据第二设备200显示的图像模拟用户在第二设备200的人机交互界面上操作时的触觉反馈，使得用户在第一设备100操作的时候体验到第二设备200的触觉反馈，提高了用户在操控设备时的体验感。
在步骤S130以及步骤S140中，第一设备100在接收到第二设备200显示的图像后，根据图像的轮廓和纹理生成触觉反馈信号。轮廓是图像中物体的边缘，纹理则是图像中物体表面的细节和模式。轮廓和纹理信息有利于识别和理解第二设备200显示的图像性质和特征。根据图像的轮廓和纹理生成额触觉反馈信号能够更好地模拟第二设备200生成的触觉反馈信号。
在步骤S150中，触觉反馈信号可以是驱动电压信号，振动器件可以是第一设备100的压电式振动器件，驱动电压信号用于驱动压第一设备100的电式振动器件振动，使得第一设备100模拟第二设备200的振动。用户可以在第一设备100操作的时候体验到第二设备200的触觉反馈，提高了用户在操控设备时的体验感。
在某些实施方式中，在获取第二设备200显示的图像之后，触觉信息交互方法包括：控制第一设备100的显示装置显示第二设备200显示的图像。
第一设备100的显示装置显示第二设备200显示的图像，使得用户在第一设备100操作的时候体验到第二设备200的视觉反馈，提高了用户在操控第一设备100时的体验感。
具体地，第一设备100也具有显示屏，在第一设备100获取第二设备200显示的图像之后，第一设备100可以显示第二设备200显示的图像。
在用户对第一设备100进行触摸操作的时候，第二设备200执行对应的操作指令。第一设备100也可以显示第二设备200执行的各种操作指令，有利于用户直观地了解到第二设备200的工作情况。
在第一设备100和第二设备200远程通讯连接的时候，用户在操作第一设备100控制第二设备200的时候，可以第一时间在第一设备100上观察到第二设备200的工作情况，体验到第二设备200的视觉反馈，提高了用户在操控第一设备100时的体验感。
在某些实施方式中，触摸操作包括触摸位置、触摸时间和触摸手势动作。
用户可以在第一设备100上执行不同的触摸手势动作(滑动、点击、双击等)使得第二设备200执行不同的操作指令。用户在第一设备100的触摸位置和触摸时间不同，第二设备200执行的操作指令也可以不同。
具体地，在用户通过按下手指对第一设备100执行触摸操作的时候。触摸位置可以式用户在第一设备100上手指按下的位置，触摸时间可以是手指在同一位置上停留的时间，触摸手势动作可以是手指的点击、长按、双击或滑动等手势动作。
参照图3，在确定用户在第一设备100上手指按下后，可以根据触摸手势动作控制第二设备200执行不同的操作指令。例如，用户手指可以在第一设备100上点击某一个位置并快速离开，第二设备200在某一个对应的位置上执行鼠标左键点击的指令。用户手指可以在第一设备100上点击某一个位置并快速离开然后再次点击这个位置，第二设备200在某一个对应的位置上执行鼠标右键点击的指令。
用户手指可以在第一设备100上按下某一个位置并超过500毫秒而不离开，使得第二设备200在某一个对应的位置上执行鼠标按下的指令。在手指按下后，若手指在第一设备100上沿着特定方向移动，第二设备200执行鼠标移动的指令。
如果用户的两个手指都在屏幕上，可以根据两个手指的触摸操作确定第二设备200需要执行的操作指令。例如，在用户的两个手指都在第一设备100上滚动的时候，一个手指在第一设备100上水平滚动，另一个手指在第一设备100上垂直滚动。可以根据滚动的距离决定是水平滚动还是垂直滚动，并发送相应的滚动信号至第二设备200。
MotionEvente1和MotionEvente2可以分别表示两个的触摸操作事件的信息。floatdistanceX和floatdistanceY可以分别表示两个手指在第一设备100上水平方向的滚动距离和垂直方向的滚动距离。
如果水平滚动的距离大于垂直滚动的距离，则将滚动事件处理为水平滚动，并将垂直滚动距离设为0。如果水平滚动的距离小于垂直滚动的距离，将滚动事件处理为垂直滚动，并将水平滚动距离设为0。
参照图4，在某些实施方式中，触摸操作包括触摸位置，根据图像的轮廓和纹理生成触觉反馈信号，包括：
处理图像以确定图像的轮廓和纹理；
根据图像的轮廓和纹理确定第二设备200的触觉反馈区域；
在触摸位置与第二设备200的触觉反馈区域相匹配的情况下，生成触觉反馈信号。
用户在第一设备100的触摸位置与第二设备200的触觉反馈区域相匹配的情况下，第一设备100模拟用户触摸第二设备200的触觉反馈区域的场景。第一设备100生成触觉反馈信号，给用户提供在第二设备200的触觉反馈区域上的触觉反馈。
具体地，第二设备200显示的图像具有对应的触觉反馈区域。例如第二设备200可以是手机。手机显示界面上的按键和APP可以是触觉反馈区域。
通过确定图像的轮廓和纹理信息可以确定触觉反馈区域的位置。例如，在第二设备200是手机的时候，根据手机显示图像的轮廓和纹理信息可以确定手机显示的按键和APP的具体位置，进而确定手机的触觉反馈区域。
在用户通过第一设备100操作手机的时候，用户和第一设备100的接触位置与第二设备200显示图像上的某一个位置对应。例如，以第一设备100的触控面建立平面坐标系R1，以第二设备200的显示图像建立的平面坐标系R2，存在一个转换矩阵，使得平面坐标系R1的坐标点通过转换矩阵确定得到平面坐标系R2上的点。
假设用户在平面坐标系R1的接触坐标为(X1，Y1)，映射到平面坐标系R2为(X2，Y2)。在(X2，Y2)落入触觉反馈区域内的时候，可以认为触摸位置与第二设备200的触觉反馈区域相匹配，此时第一设备100生成对应的触觉反馈信号，模拟在第二设备200的触觉反馈区域上的触觉反馈。
参照图4，第二设备200显示画面的左上角坐标可以设置为(0，0)。水平方向设置为X轴，垂直方向设置为Y轴。用户手指在第一设备100上从左向右滑动，可以认为用户手指也在第二设备200上从左到右滑动。
第二设备200显示画面包括多个五边形区域，五边形区域之外的可以是第二设备200的触觉反馈区域。在用户手指在第一设备100上从左向右滑动，手指映射到平面坐标系R2为(X2，Y2)位于五边形区域外的时候，第一设备100生成触觉反馈信号，产生对应的触觉波形。手指映射到平面坐标系R2为(X2，Y2)位于五边形区域内部的时候，第一设备100不生成触觉反馈信号。
参照图4，在某些实施方式中，处理图像以确定图像的轮廓和纹理，包括：分割图像以确定图像的轮廓图和纹理图；
根据图像的轮廓图确定图像的轮廓；
根据图像的纹理图确定图像的纹理。
图像的轮廓图可以只保留图像的轮廓特征，有利于准确提供图像的轮廓特征。图像的纹理图可以只保留图像的纹理特征，有利于准确提供图像的纹理特征。
具体地，可以采用基于主动轮廓模型的分割算法分割得到第二设备200显示图像的轮廓图。主动轮廓模型(Active Contour Model)是一种基于轮廓的分割算法，可以通过最小化轮廓周围的能量函数来确定轮廓的位置。
可以采用基于纹理特征的分割算法分割得到第二设备200显示图像的纹理图。基于纹理的分割算法可以使用共生矩阵、小波变换等方法来提取纹理特征，并使用聚类算法将图像分成不同的区域。
参照图4，第二设备200显示图像的灰度图可以分割成对应的轮廓图和纹理图。图像的轮廓图可以只保留图像的轮廓特征，有利于准确提供图像的轮廓特征。图像的纹理图可以只保留图像的纹理特征，有利于准确提供图像的纹理特征。
在某些实施方式中，根据图像的轮廓图确定图像的轮廓，包括：采用索贝尔算子计算轮廓图的水平边缘和垂直边缘，以确定轮廓图的表面梯度矩阵；
采用多阶段边缘检测算法和表面梯度矩阵计算轮廓图的轮廓梯度矩阵，以确定图像的轮廓。
采用索贝尔算子可以初步确定轮廓图的水平边缘和垂直边缘。采用多阶边缘算子可以进一步计算确定轮廓梯度矩阵，处理得到的图像的轮廓更加准确。
具体地，索贝尔(Sobel)算子是一种一阶导数的边缘算子算法，通过计算像素点周围像素的灰度值差异来确定边缘的位置，确定第二设备200显示图像的水平边缘和垂直边缘。通过灰度图像与Sobel算子进行卷积计算，可以获得表面梯度矩阵P。
Canny算子是一个具有滤波、增强和检测的多阶段的优化算子。Canny算子可以先利用高斯平滑滤波平滑图像以除去噪声，采用一阶偏导的有限差分来计算梯度幅值和方向，在处理过程中，Canny算子通过高斯滤波、非极大值抑制和双阈值检测等步骤来确定图像中的边缘。
使用Canny算子对P进行处理，得到轮廓梯度矩阵Pc。可以调整高梯度阈值Ph和低梯度阈值Pl以尽可能准确地检测轮廓。
在某些实施方式中，根据图像的纹理图确定图像的纹理，包括：根据预设梯度阈值和轮廓梯度矩阵构建比较矩阵；
根据轮廓梯度矩阵和比较矩阵计算确定纹理图的纹理梯度矩阵，以确定图像的纹理。
由于纹理是由图像灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。
预设梯度阈值与轮廓梯度矩阵构建比较矩阵。比较矩阵和轮廓梯度矩阵之间的空间相关特性可以表示图像的纹理。
具体地，可以选择实验的梯度阈值Pls来划分轮廓梯度和纹理梯度。构造一个毕竟矩阵S，其中元素为S(x,y)，它表示轮廓梯度矩阵P中第x,y个元素的符号。
Pc(x,y)表示轮廓梯度矩阵Pc的第x、y个元素。当Pc(x,y)≥Pls时，令S(x,y)为0。当Pc(x,y)＜Pls时，令S(x,y)为1。通过计算PT＝P⊙(Pc⊙S)来计算纹理梯度矩阵PT，其中⊙表示Schur或Hadamard积。
参照图5，本发明实施方式提供一种触觉交互设备300。触觉交互设备300可以是上述实施方式的第一设备100。外部设备400可以是上述实施方式的第二设备200。触觉交互设备300包括触控器件310、控制器320以及振动器件330。其中，触控器件310用于获取对触觉交互设备300的触摸操作。控制器320用于控制与触觉交互设备300通讯连接的外部设备400响应触摸操作，控制器320还用于获取外部设备400显示的图像，并根据图像的轮廓和纹理生成触觉反馈信号。振动器件330用于根据触觉反馈信号驱动振动器件330振动。
在用户对触觉交互设备300进行触摸操作的时候，用于获取对触觉交互设备300的触摸操作。触觉交互设备300可以通过wifi、蓝牙、usb或其他连接形式和外部设备400建立通讯连接。
在触觉交互设备300和外部设备400进行通讯连接之后，控制器320控制外部设备400响应触摸操作，外部设备400将显示的图像发送给触觉交互设备300。控制器320根据图像的轮廓和纹理驱动振动器件330振动，使得用户在第一设备100操作的时候体验到第二设备200的触觉反馈。
控制器320还可以用于实现上述任意一项实施方式的触觉信息交互方法，在此不一一赘述。
触觉交互设备300还可以包括显示屏，触控器件310可以是设置在显示屏上的触控屏，触控屏可以包括电容感应器、电阻感应器或光学感应器，触控屏可以感知到手指的触摸并触发相应的操作。
振动器件330可以包括压电片及驱动电路，控制器320生成的触觉反馈信号可以用于控制驱动电路提供对应的驱动电压，驱动电压驱动压电片振动，给用户提供触觉反馈。
触觉交互设备300还可以包括摄像头、扬声器、麦克风、传感器、电源等其他功能的器件。
参照图6，在某些实施方式中，图像信息交互方法还包括：
获取第一设备100发出的控制信号，第一设备100与第二设备200通讯连接，控制信号基于对第一设备100的触摸操作确定；
根据第二设备200显示的图像的轮廓和纹理生成触觉反馈信号；
发送触觉反馈信号至第一设备100，以使第一设备100根据触觉反馈信号控制第一设备100的振动器件振动。
在第二设备200的图像处理功能比第一设备100更加优秀的时候，可以让第二设备200处于显示的图像，并根据图像的轮廓和纹理生成触觉反馈信号，并将触觉反馈信号发送到第一设备100。
第一设备100根据触觉反馈信号控制振动器件振动，使得用户在第一设备100操作的时候体验到第二设备200的触觉反馈，提高了用户在操控设备时的体验感。
具体地，如果第二设备200具有更强的图像处理能力，可以将纹理和轮廓处理的工作交给第二设备200的处理器执行。在第一设备100需要提供精细触觉反馈的时候，第二设备200将显示的图像进行处理，得到对应的图像的轮廓和纹理，并提供对应的触觉反馈信号给第一设备100。
第一设备100根据触觉反馈信号控制振动器件振动，使得用户在第一设备100操作的时候体验到第二设备200的触觉反馈，提高了用户在操控设备时的体验感。
参照图7，在某些实施方式中，触觉信息交互方法包括：
控制第一设备100的摄像头拍摄第二设备200以获取第二设备200显示的图像；
根据图像的轮廓和纹理生成触觉反馈信号；
根据触觉反馈信号控制第一设备100的振动器件振动。
在第一设备100和第二设备200不能够通讯连接的时候，第一设备100的控制器可以调用摄像头拍摄第二设备200，并获取第二设备200显示的图像。第一设备100依然可以根据第二设备200显示的图像对用户提供触觉反馈。
具体地，参照图8，第一设备100可以包括摄像头140。在第一设备100和第二设备200不能够通讯连接的时候，第一设备100的控制器可以调用摄像头140拍摄第二设备200，并获取第二设备200显示的图像。
获取到第二设备200显示的图像之后，第一设备100的图像处理软件可以对该图像进行扫描，以识别和读取图像中的摩尔纹。
在识别出摩尔纹之后，可以通过数字信号处理技术对其进行抑制或消除，并处理得到图像的轮廓和纹理信息。在用户和第一设备100进行触摸交互的时候，第一设备100可以根据图像的轮廓和纹理信息驱动振动片振动，提供精细触觉反馈。
在第二设备200为手持设备的时候，如手机，第一设备100需要与第二设备200显示的图像平行进行拍照操作。第一设备100可以调整摄像头140角度，在使用过程中不需要变更手持设备的角度，更符合用户手持设备的使用习惯。
本发明实施方式提供一种计算机可读存储介质。计算机可读存储介质用于存储计算机程序，计算机可读存储介质在被执行时实现上述任意一种实施方式的触觉信息交互方法或图像信息交互方法。
眼球定位方法和防偷窥控制方法的实施方式可以参照上述实施方式，计算机可读存储介质的有益效果包括触觉信息交互方法和图像信息交互方法的所有有益效果，在此不一一赘述。
本发明实施方式提供一种触觉信息交互方法、图像信息交互方法、设备及存储介质。触觉信息交互方法用于第一设备100。触觉信息交互方法包括：获取对第一设备100的触摸操作；控制与第一设备100通讯连接的第二设备200响应触摸操作；获取第二设备200显示的图像；根据图像的轮廓和纹理生成触觉反馈信号；根据触觉反馈信号控制第一设备100的振动器件振动。
在用户对第一设备100进行触摸操作的时候，第一设备100可以控制无触觉感应的第二设备200执行对应的操作指令，使得第二设备200将显示的图像发送至第一设备100。第一设备100可以根据图像的轮廓和纹理生成触觉反馈信号，并根据触觉反馈信号控制振动器件振动，使得用户在第一设备100操作的时候体验到第二设备200的触觉反馈，提高了用户在操控设备时的体验感。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“连接”应做广义理解，例如，可以包括固定连接，也可以包括可拆卸连接，或一体地连接；可以包括直接相连，也可以通过中间媒介间接相连，还可以包括两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种触觉信息交互方法，用于第一设备，其特征在于，所述触觉信息交互方法包括：
获取对所述第一设备的触摸操作；
控制与所述第一设备通讯连接的第二设备响应所述触摸操作；
获取所述第二设备显示的图像；
根据所述图像的轮廓和纹理生成触觉反馈信号；
根据所述触觉反馈信号控制所述第一设备的振动器件振动。
2.根据权利要求1所述的触觉信息交互方法，其特征在于，在获取所述第二设备显示的图像之后，所述触觉信息交互方法包括：
控制所述第一设备的显示装置显示所述第二设备显示的图像。
3.根据权利要求1所述的触觉信息交互方法，其特征在于，所述触摸操作包括触摸位置、触摸时间和触摸手势动作。
4.根据权利要求1所述的触觉信息交互方法，其特征在于，所述触摸操作包括触摸位置，所述根据所述图像的轮廓和纹理生成触觉反馈信号，包括：
处理所述图像以确定所述图像的轮廓和纹理；
根据所述图像的轮廓和纹理确定所述第二设备的触觉反馈区域；
在所述触摸位置与所述第二设备的触觉反馈区域相匹配的情况下，生成触觉反馈信号。
5.根据权利要求4所述的触觉信息交互方法，其特征在于，所述处理所述图像以确定所述图像的轮廓和纹理，包括：
分割所述图像以确定所述图像的轮廓图和纹理图；
根据所述图像的轮廓图确定所述图像的轮廓；
根据所述图像的纹理图确定所述图像的纹理。
6.根据权利要求5所述的触觉信息交互方法，其特征在于，所述根据所述图像的轮廓图确定所述图像的轮廓，包括：
采用索贝尔算子计算所述轮廓图的水平边缘和垂直边缘，以确定所述轮廓图的表面梯度矩阵；
采用多阶段边缘检测算法和所述表面梯度矩阵计算所述轮廓图的轮廓梯度矩阵，以确定所述图像的轮廓。
7.根据权利要求6所述的触觉信息交互方法，其特征在于，所述根据所述图像的纹理图确定所述图像的纹理，包括：
根据预设梯度阈值和所述轮廓梯度矩阵构建比较矩阵；
根据所述轮廓梯度矩阵和所述比较矩阵计算确定所述纹理图的纹理梯度矩阵，以确定所述图像的纹理。
8.根据权利要求1所述的触觉信息交互方法，其特征在于，所述触觉信息交互方法包括：
控制所述第一设备的摄像头拍摄所述第二设备以获取所述第二设备显示的图像；
根据所述图像的轮廓和纹理生成触觉反馈信号；
根据所述触觉反馈信号控制所述第一设备的振动器件振动。
9.一种图像信息交互方法，用于第二设备，其特征在于，所述图像信息交互方法包括：
获取第一设备发出的控制信号，所述第一设备与所述第二设备通讯连接，所述控制信号基于对所述第一设备的触摸操作确定；
根据所述控制信号发送所述第二设备显示的图像至与所述第一设备，以使所述第一设备根据所述图像的轮廓和纹理生成触觉反馈信号，并根据所述触觉反馈信号控制所述第一设备的振动器件振动。
10.根据权利要求9所述的图像信息交互方法，其特征在于，所述图像信息交互方法还包括：
获取第一设备发出的控制信号，所述第一设备与所述第二设备通讯连接，所述控制信号基于对所述第一设备的触摸操作确定；
根据所述第二设备显示的图像的轮廓和纹理生成触觉反馈信号；
发送所述触觉反馈信号至所述第一设备，以使所述第一设备根据所述触觉反馈信号控制所述第一设备的振动器件振动。
11.一种触觉交互设备，其特征在于，所述触觉交互设备包括：
触控器件，所述触控器件用于获取对所述触觉交互设备的触摸操作；
控制器，所述控制器用于控制与所述触觉交互设备通讯连接的外部设备响应所述触摸操作，所述控制器还用于获取所述外部设备显示的图像，并根据所述图像的轮廓和纹理生成触觉反馈信号；
振动器件，所述振动器件用于根据所述触觉反馈信号驱动所述振动器件振动。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质配置为存储计算机程序，所述计算机程序在被处理器执行时实现权利要求1-8任一项所述的触觉信息交互方法，或9-10任一项所述的图像信息交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410065308.8A CN117891345A (zh) | 2024-01-16 | 2024-01-16 | 触觉信息交互方法、图像信息交互方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410065308.8A CN117891345A (zh) | 2024-01-16 | 2024-01-16 | 触觉信息交互方法、图像信息交互方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117891345A true CN117891345A (zh) | 2024-04-16 |
Family
ID=90650341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410065308.8A Pending CN117891345A (zh) | 2024-01-16 | 2024-01-16 | 触觉信息交互方法、图像信息交互方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117891345A (zh) |
-
2024
- 2024-01-16 CN CN202410065308.8A patent/CN117891345A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9871962B2 (en) | Movable user interface shutter button for camera | |
| US20180232135A1 (en) | Method for window displaying on a mobile terminal and mobile terminal | |
| CN105814522B (zh) | 基于运动识别来显示虚拟输入设备的用户界面的设备和方法 | |
| EP2790089A1 (en) | Portable device and method for providing non-contact interface | |
| US20150035746A1 (en) | User Interface Device | |
| CN107291346B (zh) | 终端设备的绘制内容处理方法、装置及终端设备 | |
| JP6711817B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
| US10866649B2 (en) | Gesture identification method and electronic device | |
| US9880721B2 (en) | Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method | |
| US10929083B2 (en) | Resource sharing device and control method thereof | |
| CN107172347B (zh) | 一种拍照方法及终端 | |
| CN103685930A (zh) | 显示控制装置及其控制方法 | |
| JP2013080266A (ja) | 入力装置 | |
| CN117891345A (zh) | 触觉信息交互方法、图像信息交互方法、设备及存储介质 | |
| CN109144369B (zh) | 一种图像处理方法及终端设备 | |
| KR101542671B1 (ko) | 공간 터치 방법 및 공간 터치 장치 | |
| JP2023033559A (ja) | 情報処理装置、表示制御方法、及びプログラム | |
| CN103543824B (zh) | 手势输入系统及方法 | |
| CN111491095B (zh) | 图像虚化方法、装置和电子设备 | |
| WO2017016333A1 (zh) | 一种屏幕调整方法及装置 | |
| CN112529770A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| JP6716519B2 (ja) | 表示装置及び表示方法 | |
| US20190230296A1 (en) | Picture processing device, method of producing picture data, and picture processing program | |
| JP7459151B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| CN111610916B (zh) | 显示方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |